Всякий раз, когда мы подгоняем модель линейной регрессии в R, модель принимает следующую форму:
Y = β 0 + β 1 X + … + β i X +ϵ
где ϵ — член ошибки, не зависящий от X.
Независимо от того, насколько хорошо можно использовать X для предсказания значений Y, в модели всегда будет какая-то случайная ошибка. Одним из способов измерения дисперсии этой случайной ошибки является использование остаточной стандартной ошибки , которая представляет собой способ измерения стандартного отклонения остатков ϵ.
Остаточная стандартная ошибка регрессионной модели рассчитывается как:
Остаточная стандартная ошибка = √ невязки SS / невязки df
куда:
- Остатки SS : остаточная сумма квадратов.
- Остатки df : остаточные степени свободы, рассчитанные как n – k – 1, где n = общее количество наблюдений, а k = общее количество параметров модели.
Есть три метода, которые мы можем использовать для вычисления остаточной стандартной ошибки регрессионной модели в R.
Метод 1: анализ сводки модели
Первый способ получить остаточную стандартную ошибку — просто подобрать модель линейной регрессии, а затем использовать команду summary() для получения результатов модели. Затем просто найдите «остаточную стандартную ошибку» в нижней части вывода:
#load built-in *mtcars* dataset
data(mtcars)
#fit regression model
model <- lm(mpg~disp+hp, data=mtcars)
#view model summary
summary(model)
Call:
lm(formula = mpg ~ disp + hp, data = mtcars)
Residuals:
Min 1Q Median 3Q Max
-4.7945 -2.3036 -0.8246 1.8582 6.9363
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 30.735904 1.331566 23.083 < 2e-16 \*\*\*
disp -0.030346 0.007405 -4.098 0.000306 \*\*\*
hp -0.024840 0.013385 -1.856 0.073679.
---
Signif. codes: 0 '\*\*\*' 0.001 '\*\*' 0.01 '\*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 3.127 on 29 degrees of freedom
Multiple R-squared: 0.7482, Adjusted R-squared: 0.7309
F-statistic: 43.09 on 2 and 29 DF, p-value: 2.062e-09
Мы видим, что остаточная стандартная ошибка равна 3,127 .
Способ 2: используйте простую формулу
Другой способ получить остаточную стандартную ошибку (RSE) — подобрать модель линейной регрессии, а затем использовать следующую формулу для расчета RSE:
sqrt( deviance (model)/df.residual (model))
Вот как реализовать эту формулу в R:
#load built-in *mtcars* dataset
data(mtcars)
#fit regression model
model <- lm(mpg~disp+hp, data=mtcars)
#calculate residual standard error
sqrt( deviance (model)/df.residual (model))
[1] 3.126601
Мы видим, что остаточная стандартная ошибка равна 3,126601 .
Способ 3: используйте пошаговую формулу
Другой способ получить остаточную стандартную ошибку — подобрать модель линейной регрессии, а затем использовать пошаговый подход для расчета каждого отдельного компонента формулы для RSE:
#load built-in *mtcars* dataset
data(mtcars)
#fit regression model
model <- lm(mpg~disp+hp, data=mtcars)
#calculate the number of model parameters - 1
k=length(model$ coefficients )-1
#calculate sum of squared residuals
SSE=sum(model$ residuals \*\*2)
#calculate total observations in dataset
n=length(model$ residuals )
#calculate residual standard error
sqrt(SSE/(n-(1+k)))
[1] 3.126601
Мы видим, что остаточная стандартная ошибка равна 3,126601 .
Как интерпретировать остаточную стандартную ошибку
Как упоминалось ранее, остаточная стандартная ошибка (RSE) — это способ измерения стандартного отклонения остатков в регрессионной модели.
Чем ниже значение RSE, тем точнее модель может соответствовать данным (но будьте осторожны с переоснащением ). Этот показатель может быть полезен при сравнении двух или более моделей, чтобы определить, какая модель лучше всего соответствует данным.
Дополнительные ресурсы
Как интерпретировать остаточную стандартную ошибку
Как выполнить множественную линейную регрессию в R
Как выполнить перекрестную проверку производительности модели в R
Как рассчитать стандартное отклонение в R