Каппа Коэна используется для измерения уровня согласия между двумя оценщиками или судьями, каждый из которых классифицирует элементы по взаимоисключающим категориям.
Формула каппы Коэна рассчитывается как:
k = ( po – p e ) / (1 – p e )
куда:
- p o : Относительное наблюдаемое согласие среди оценщиков
- p e : Гипотетическая вероятность случайного совпадения
Вместо того, чтобы просто подсчитывать процент пунктов, по которым согласны оценщики, Каппа Коэна пытается объяснить тот факт, что оценщики могут прийти к согласию по некоторым пунктам чисто случайно.
Значение Каппы Коэна всегда находится в диапазоне от 0 до 1, где 0 указывает на отсутствие согласия между двумя оценщиками, а 1 указывает на полное согласие между двумя оценщиками.
В следующей таблице показано, как интерпретировать различные значения каппы Коэна:
В следующем примере показано, как рассчитать каппу Коэна в Excel.
Пример: расчет каппы Коэна в Excel
Предположим, двух кураторов художественного музея просят оценить 70 картин на предмет того, достаточно ли они хороши для показа на новой выставке.
В следующей таблице 2×2 показаны результаты рейтингов:
На следующем снимке экрана показано, как рассчитать Каппа Коэна для двух оценщиков, включая используемые формулы:
Значение p 0 представляет относительное согласие между оценщиками. Это доля от общего числа оценок, на которые оба оценщика ответили «Да» или оба сказали «Нет».
Получается 0,6429 .
Значение p e представляет собой вероятность того, что оценщики могли согласиться чисто случайно.
Получается 0,5 .
Значение k представляет собой каппу Коэна, которая рассчитывается как:
- k = ( po – p e ) / (1 – p e )
- k = (0,6429 – 0,5) / (1 – 0,5)
- к = 0,2857
Каппа Коэна оказывается равной 0,2857 .
Основываясь на приведенной ранее таблице, мы бы сказали, что у двух оценщиков был только «удовлетворительный» уровень согласия.
Дополнительные ресурсы
Следующие учебные пособия предлагают дополнительные ресурсы по Каппе Коэна: