Что такое частичный F-тест?

Редакция Кодкампа -

Частичный F-тест используется для определения того, существует ли статистически значимое различие между регрессионной моделью и некоторой вложенной версией той же модели.

Вложенная модель — это просто модель, которая содержит подмножество переменных-предикторов в общей регрессионной модели.

Например, предположим, что у нас есть следующая регрессионная модель с четырьмя переменными-предикторами:

Y = β 0 + β 1 х 1 + β 2 х 2 + β 3 х 3 + β 4 х 4 + ε

Одним из примеров вложенной модели может быть следующая модель только с двумя исходными предикторными переменными:

Y = β 0 + β 1 х 1 + β 2 х 2 + ε

Чтобы определить, существенно ли различаются эти две модели, мы можем выполнить частичный F-тест.

Частичный F-тест: основы

Частичный F-тест вычисляет следующую статистику F-теста:

F = (( сокращенный RSS – полный RSS)/p) / ( полный RSS/nk)

куда:

  • Сокращенный RSS : Остаточная сумма квадратов сокращенной (т.е. «вложенной») модели.
  • RSS full : остаточная сумма квадратов полной модели.
  • p: количество предикторов, удаленных из полной модели.
  • n: общее количество наблюдений в наборе данных.
  • k: количество коэффициентов (включая точку пересечения) в полной модели.

Обратите внимание, что остаточная сумма квадратов всегда будет меньше для полной модели, поскольку добавление предикторов всегда приводит к некоторому уменьшению ошибки.

Таким образом, частичный F-тест, по сути, проверяет, действительно ли группа предикторов, удаленных из полной модели, полезна и должна ли быть включена в полную модель.

В этом тесте используются следующие нулевая и альтернативная гипотезы:

H 0 : Все коэффициенты, удаленные из полной модели, равны нулю.

H A : По крайней мере один из коэффициентов, удаленных из полной модели, отличен от нуля.

Если значение p, соответствующее статистике F-теста, ниже определенного уровня значимости (например, 0,05), то мы можем отклонить нулевую гипотезу и сделать вывод, что по крайней мере один из коэффициентов, удаленных из полной модели, является значимым.

Частичный F-тест: пример

На практике мы используем следующие шаги для выполнения частичного F-теста:

1. Сопоставьте полную регрессионную модель и рассчитайте RSS full .

2. Сопоставьте модель вложенной регрессии и рассчитайте RSS уменьшено .

3. Выполните дисперсионный анализ, чтобы сравнить полную и сокращенную модели, что позволит получить статистику F-теста, необходимую для сравнения моделей.

Например, следующий код показывает, как подобрать следующие две модели регрессии в R, используя данные из встроенного набора данных mtcars :

Полная модель: миль на галлон = β 0 + β 1 расход + β 2 карбюратор + β 3 л.с. + β 4 цилиндра

Уменьшенная модель: mpg = β 0 + β 1 disp + β 2 carb

#fit full model
model_full <- lm(mpg ~ disp + carb + hp + cyl, data = mtcars)

#fit reduced model
model_reduced <- lm(mpg ~ disp + carb, data = mtcars)

#perform ANOVA to test for differences in models
anova(model_reduced, model_full)

Analysis of Variance Table

Model 1: mpg ~ disp + carb
Model 2: mpg ~ disp + carb + hp + cyl
 Res.Df RSS Df Sum of Sq F Pr(>F)
1 29 254.82 
2 27 238.71 2 16.113 0.9113 0.414

Из вывода мы видим, что критерий F из ANOVA равен 0,9113 , а соответствующее значение p равно 0,414 .

Поскольку это p-значение не меньше 0,05, мы не сможем отвергнуть нулевую гипотезу. Это означает, что у нас нет достаточных доказательств, чтобы сказать, что любая из переменных-предикторов hp или cyl является статистически значимой.

Другими словами, добавление hp и cyl к регрессионной модели существенно не улучшает соответствие модели.