Байесовский информационный критерий , часто обозначаемый аббревиатурой BIC , представляет собой метрику, которая используется для сравнения качества соответствия различных регрессионных моделей.
На практике мы подгоняем несколько регрессионных моделей к одному и тому же набору данных и выбираем модель с наименьшим значением BIC в качестве модели, которая лучше всего соответствует данным.
Мы используем следующую формулу для расчета BIC:
БИК: (RSS+log(n)dσ̂ 2 ) / n
куда:
- d: количество предикторов
- n: Всего наблюдений
- σ̂: оценка дисперсии ошибки, связанной с каждым измерением отклика в регрессионной модели.
- RSS: Остаточная сумма квадратов регрессионной модели
- TSS: общая сумма квадратов регрессионной модели.
В следующем пошаговом примере показано, как рассчитать значения BIC для регрессионных моделей в R.
Шаг 1. Просмотр данных
В этом примере мы будем использовать встроенный набор данных mtcars :
#view first six rows of mtcars dataset
head(mtcars)
mpg cyl disp hp drat wt qsec vs am gear carb
Mazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4
Mazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4
Datsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1
Hornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1
Hornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2
Valiant 18.1 6 225 105 2.76 3.460 20.22 1 0 3 1
Шаг 2: Установите несколько моделей
Далее мы подберем несколько различных моделей регрессии, используя этот набор данных:
#fit three different regression models
model1 <- lm(mpg ~ disp + hp, data = mtcars)
model2 <- lm(mpg ~ disp + qsec, data = mtcars)
model3 <- lm(mpg ~ disp + wt, data = mtcars)
Шаг 3: Выберите модель с наименьшим BIC
Чтобы вычислить значение BIC для каждой модели, мы можем использовать функцию BIC() из пакета flexmix :
library (flexmix)
#calculate BIC of model1
BIC(model1)
[1] 174.4815
#calculate BIC of model2
BIC(model2)
[1] 177.7048
#calculate BIC of model3
BIC(model3)
[1] 170.0307
Мы можем увидеть значения BIC для каждой модели:
- БИК модели 1 : 174,4815
- БИК модели 2 : 177,7048
- БИК модели 3 : 170.0307
Поскольку модель 3 имеет наименьшее значение BIC, мы выберем ее как модель, которая лучше всего соответствует набору данных.
Дополнительные ресурсы
В следующих руководствах объясняется, как подобрать общие модели регрессии в R:
Как выполнить простую линейную регрессию в R
Как выполнить множественную линейную регрессию в R
Как выполнить логистическую регрессию в R
Как выполнить взвешенную регрессию методом наименьших квадратов в R