Информационный критерий Акаике (AIC) — это показатель, который используется для сравнения соответствия различных моделей регрессии.
Он рассчитывается как:
АИК = 2К – 2 лн (Л)
куда:
- K: количество параметров модели.
- ln (L) : логарифмическая вероятность модели. Это говорит нам, насколько вероятна модель, учитывая данные.
После подбора нескольких регрессионных моделей можно сравнить значение AIC каждой модели. Модель с самым низким AIC лучше всего подходит.
Студенты часто задают вопрос об AIC: как мне интерпретировать отрицательные значения AIC?
Простой ответ: чем ниже значение AIC, тем лучше подходит модель. Абсолютное значение значения AIC не имеет значения. Оно может быть положительным или отрицательным.
Например, если модель 1 имеет значение AIC, равное -56,5, а модель 2 имеет значение AIC, равное -103,3, то модель 2 лучше подходит. Не имеет значения, являются ли оба значения AIC отрицательными.
Понимание отрицательных значений AIC
Легко понять, как данная регрессионная модель может привести к отрицательному значению AIC, если мы просто посмотрим на формулу, используемую для расчета AIC:
АИК = 2К – 2 лн (Л)
Предположим, у нас есть модель с 7 параметрами и логарифмической вероятностью 70.
Мы рассчитали бы AIC этой модели как:
АИК = 2*7 – 2*70 = -126
Затем мы могли бы сравнить это значение AIC со значением других моделей регрессии, чтобы определить, какая модель лучше всего подходит.
Ссылки на учебники по отрицательным значениям AIC
Полезная ссылка на учебник по отрицательным значениям AIC взята из «Выбор модели и мультимодальный вывод: практический теоретико-информационный подход» на стр. 62:
Обычно AIC положительный; однако он может быть смещен на любую аддитивную константу, и некоторые сдвиги могут привести к отрицательным значениям AIC… Это не абсолютный размер значения AIC, это относительные значения по набору рассматриваемых моделей, и, в частности, различия между Значения AIC, которые важны.
Еще одна полезная ссылка взята из Serious Stats: A Guide to Advanced Statistics for the Behavioral Sciences на стр. 402:
Как и в случае с вероятностью, абсолютное значение AIC в значительной степени бессмысленно (определяется произвольной константой). Поскольку эта константа зависит от данных, AIC можно использовать для сравнения моделей, установленных на идентичных образцах.
Таким образом, наилучшей моделью из множества рассматриваемых правдоподобных моделей является модель с наименьшим значением AIC (наименьшая потеря информации по сравнению с истинной моделью).
Как отмечается в обоих учебниках, абсолютное значение AIC не имеет значения. Мы просто используем значения AIC для сравнения соответствия моделей, и модель с самым низким значением AIC является лучшей.