Статистика Каппы Коэна: определение и пример

Редакция Кодкампа -

Каппа-статистика Коэна используется для измерения уровня согласия между двумя оценщиками или судьями, каждый из которых классифицирует элементы по взаимоисключающим категориям.

Формула каппы Коэна рассчитывается как:

k = ( po – p e ) / (1 – p e )

куда:

  • p o : Относительное наблюдаемое согласие среди оценщиков
  • p e : Гипотетическая вероятность случайного совпадения

Вместо того, чтобы просто подсчитывать процент пунктов, по которым согласны оценщики, Каппа Коэна пытается объяснить тот факт, что оценщики могут прийти к согласию по некоторым пунктам чисто случайно.

Как интерпретировать каппу Коэна

Каппа Коэна всегда находится в диапазоне от 0 до 1, где 0 указывает на отсутствие согласия между двумя оценщиками, а 1 указывает на полное согласие между двумя оценщиками.

В следующей таблице показано, как интерпретировать различные значения каппы Коэна:

В следующем пошаговом примере показано, как рассчитать каппу Коэна вручную.

Вычисление каппы Коэна: пошаговый пример

Предположим, двух музейных кураторов просят оценить 70 картин на предмет того, достаточно ли они хороши, чтобы их можно было повесить на новую выставку.

В следующей таблице 2×2 показаны результаты рейтингов:

Шаг 1: Рассчитайте относительное согласие (p o ) между оценщиками.

Во-первых, мы рассчитаем относительное согласие между оценщиками. Это просто доля от общего числа оценок, на которые оба оценщика ответили «Да» или оба сказали «Нет».

Мы можем рассчитать это как:

  • p o = (Оба сказали Да + Оба сказали Нет) / (Общее количество оценок)
  • р о = (25 + 20) / (70) = 0,6429

Шаг 2: Рассчитайте гипотетическую вероятность случайного совпадения (p e ) между оценщиками.

Далее мы посчитаем вероятность того, что оценщики могли договориться чисто случайно.

Это рассчитывается как общее количество раз, когда Оценщик 1 сказал «Да», деленное на общее количество ответов, умноженное на общее количество раз, когда Оценщик 2 сказал «Да», деленное на общее количество ответов, добавленное к общему количеству ответов. количество раз, когда Рейтер 1 сказал «Нет», умноженное на общее количество раз, когда Рейтер 2 сказал «Нет».

Для нашего примера это рассчитывается как:

  • P («Да») = ((25+10)/70) * ((25+15)/70) = 0,285714
  • P («Нет») = ((15+20)/70) * ((10+20)/70) = 0,214285
  • р е = 0,285714 + 0,214285 = 0,5

Шаг 3: вычислить каппу Коэна

Наконец, мы будем использовать p o и p e для вычисления каппы Коэна:

  • k = ( po – p e ) / (1 – p e )
  • k = (0,6429 – 0,5) / (1 – 0,5)
  • к = 0,2857

Каппа Коэна оказывается равной 0,2857.Основываясь на приведенной ранее таблице, мы бы сказали, что у двух оценщиков был только «удовлетворительный» уровень согласия.

Дополнительные ресурсы

Вы можете использовать этот Калькулятор Каппы Коэна для автоматического расчета Каппы Коэна для любых двух оценщиков.