Каппа-статистика Коэна используется для измерения уровня согласия между двумя оценщиками или судьями, каждый из которых классифицирует элементы по взаимоисключающим категориям.
Формула каппы Коэна рассчитывается как:
k = ( po – p e ) / (1 – p e )
куда:
- p o : Относительное наблюдаемое согласие среди оценщиков
- p e : Гипотетическая вероятность случайного совпадения
Вместо того, чтобы просто подсчитывать процент пунктов, по которым согласны оценщики, Каппа Коэна пытается объяснить тот факт, что оценщики могут прийти к согласию по некоторым пунктам чисто случайно.
Как интерпретировать каппу Коэна
Каппа Коэна всегда находится в диапазоне от 0 до 1, где 0 указывает на отсутствие согласия между двумя оценщиками, а 1 указывает на полное согласие между двумя оценщиками.
В следующей таблице показано, как интерпретировать различные значения каппы Коэна:
В следующем пошаговом примере показано, как рассчитать каппу Коэна вручную.
Вычисление каппы Коэна: пошаговый пример
Предположим, двух музейных кураторов просят оценить 70 картин на предмет того, достаточно ли они хороши, чтобы их можно было повесить на новую выставку.
В следующей таблице 2×2 показаны результаты рейтингов:
Шаг 1: Рассчитайте относительное согласие (p o ) между оценщиками.
Во-первых, мы рассчитаем относительное согласие между оценщиками. Это просто доля от общего числа оценок, на которые оба оценщика ответили «Да» или оба сказали «Нет».
Мы можем рассчитать это как:
- p o = (Оба сказали Да + Оба сказали Нет) / (Общее количество оценок)
- р о = (25 + 20) / (70) = 0,6429
Шаг 2: Рассчитайте гипотетическую вероятность случайного совпадения (p e ) между оценщиками.
Далее мы посчитаем вероятность того, что оценщики могли договориться чисто случайно.
Это рассчитывается как общее количество раз, когда Оценщик 1 сказал «Да», деленное на общее количество ответов, умноженное на общее количество раз, когда Оценщик 2 сказал «Да», деленное на общее количество ответов, добавленное к общему количеству ответов. количество раз, когда Рейтер 1 сказал «Нет», умноженное на общее количество раз, когда Рейтер 2 сказал «Нет».
Для нашего примера это рассчитывается как:
- P («Да») = ((25+10)/70) * ((25+15)/70) = 0,285714
- P («Нет») = ((15+20)/70) * ((10+20)/70) = 0,214285
- р е = 0,285714 + 0,214285 = 0,5
Шаг 3: вычислить каппу Коэна
Наконец, мы будем использовать p o и p e для вычисления каппы Коэна:
- k = ( po – p e ) / (1 – p e )
- k = (0,6429 – 0,5) / (1 – 0,5)
- к = 0,2857
Каппа Коэна оказывается равной 0,2857.Основываясь на приведенной ранее таблице, мы бы сказали, что у двух оценщиков был только «удовлетворительный» уровень согласия.
Дополнительные ресурсы
Вы можете использовать этот Калькулятор Каппы Коэна для автоматического расчета Каппы Коэна для любых двух оценщиков.