В проверке гипотез всегда существует частота ошибок первого рода, которая говорит нам о вероятности отклонения нулевой гипотезы, которая на самом деле верна. Другими словами, это вероятность получить «ложноположительный результат», т.е. когда мы утверждаем, что есть статистически значимый эффект, но на самом деле его нет.
Когда мы проводим проверку одной гипотезы, частота ошибок типа I равна уровню значимости (α), который обычно выбирается равным 0,01, 0,05 или 0,10. Однако, когда мы проводим сразу несколько проверок гипотез, вероятность получения ложного срабатывания возрастает.
Например, представьте, что мы бросаем 20-гранный кубик. Вероятность того, что на кубике выпадет «1», составляет всего 5%. Но если мы бросим сразу два таких кубика, вероятность того, что один из кубиков выпадет на «1», возрастет до 9,75%. Если мы бросаем сразу пять кубиков, вероятность увеличивается до 22,6%.
Чем больше кубиков мы бросаем, тем выше вероятность того, что один из кубиков выпадет на 1. Точно так же, если мы проведем несколько проверок гипотез одновременно, используя уровень значимости 0,05, вероятность того, что мы получим ложноположительный результат, возрастет до запредельных значений. 0,05.
Как оценить частоту ошибок по семейному принципу
Формула для оценки коэффициента ошибок для всей семьи выглядит следующим образом:
Семейная частота ошибок = 1 – (1-α) n
куда:
- α: уровень значимости для проверки одной гипотезы.
- n: общее количество тестов
Например, предположим, что мы проводим 5 различных сравнений, используя альфа-уровень α = 0,05. Коэффициент ошибок для всей семьи будет рассчитываться как:
Семейная частота ошибок = 1 – (1-α) c = 1 – (1-0,05) 5 = 0,2262 .
Другими словами, вероятность получить ошибку I рода хотя бы в одной из проверок гипотез составляет более 22%!
Как контролировать частоту ошибок по семейным обстоятельствам
Существует несколько методов, которые можно использовать для контроля частоты ошибок в отношении семьи, в том числе:
1. Поправка Бонферрони.
Отрегулируйте значение α, используемое для оценки значимости, таким образом, чтобы:
α новый = α старый / n
Например, если мы проведем 5 различных сравнений, используя альфа-уровень α = 0,05, то с помощью поправки Бонферрони наш новый альфа-уровень будет:
α новый знак равно α старый / n знак равно 0,05 / 5 знак равно 0,01 .
2. Поправка Сидака.
Отрегулируйте значение α, используемое для оценки значимости, таким образом, чтобы:
α новый = 1 – (1-α старый ) 1/n
Например, если мы проведем 5 различных сравнений, используя альфа-уровень α = 0,05, то с помощью поправки Сидака наш новый альфа-уровень будет:
α новый = 1 – (1-α старый ) 1/n = 1 – (1-0,05) 1/5 = 0,010206 .
3. Поправка Бонферрони-Холма.
Эта процедура работает следующим образом:
- Используйте поправку Бонферрони, чтобы вычислить α новых = α старых / n.
- Выполните проверку каждой гипотезы и упорядочите p-значения всех тестов от наименьшего к наибольшему.
- Если первое p-значение больше или равно α new , остановите процедуру. Никакие p-значения не являются значимыми.
- Если первое p-значение меньше α new , то оно значимо. Теперь сравните второе значение p с α new.Если он больше или равен α new , остановите процедуру. Никакие другие p-значения не являются значимыми.
Используя одну из этих поправок к уровню значимости, мы можем резко снизить вероятность совершения ошибки первого рода среди семейства проверок гипотез.