Как рассчитать коэффициент внутриклассовой корреляции в R


Коэффициент внутриклассовой корреляции (ICC) используется для определения того, могут ли предметы или предметы быть надежно оценены разными оценщиками.

Значение ICC может варьироваться от 0 до 1, где 0 указывает на отсутствие надежности среди оценщиков, а 1 указывает на идеальную надежность.

Самый простой способ вычислить ICC в R — использовать функцию icc() из пакета irr , которая использует следующий синтаксис:

icc(номиналы, модель, тип, блок)

куда:

  • рейтинги: кадр данных или матрица рейтингов
  • модель: Тип используемой модели. Варианты включают «односторонний» или «двусторонний»
  • тип: тип отношения для расчета между оценщиками. Варианты включают «согласованность» или «согласие».
  • unit: единица анализа. Варианты включают «одиночный» или «средний»

В этом руководстве представлен пример использования этой функции на практике.

Шаг 1: Создайте данные

Предположим, четырех разных судей попросили оценить качество 10 различных вступительных экзаменов в колледж. Мы можем создать следующий фрейм данных для хранения рейтингов судей:

#create data
data <- data.frame(A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
 B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
 C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
 D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Шаг 2: Рассчитайте коэффициент внутриклассовой корреляции

Предположим, четыре судьи были выбраны случайным образом из группы квалифицированных судей вступительных экзаменов, и что мы хотели бы измерить абсолютное согласие между судьями и что мы заинтересованы в использовании рейтингов с точки зрения одного оценщика в качестве основы для нашего измерения.

Мы можем использовать следующий код в R, чтобы соответствовать двусторонней модели , используя абсолютное согласие как отношение между оценщиками и используя единицу измерения в качестве нашей единицы интереса:

#load the interrater reliability package
library (irr)

#define data
data <- data.frame(A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
 B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
 C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
 D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway", type = " agreement", unit = " single ")

 Model: twoway 
 Type : agreement 

 Subjects = 10 
 Raters = 4 
 ICC(A,1) = 0.782

 F-Test, H0: r0 = 0 ; H1: r0 > 0 
 F(9,30) = 15.3 , p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
 0.554 < ICC < 0.931

Коэффициент внутриклассовой корреляции (ВКК) оказывается равным 0,782 .

Вот как интерпретировать значение коэффициента внутриклассовой корреляции согласно Ку и Ли :

  • Менее 0,50: низкая надежность
  • От 0,5 до 0,75: умеренная надежность.
  • Между 0,75 и 0,9: хорошая надежность
  • Более 0,9: превосходная надежность

Таким образом, мы пришли бы к выводу, что ICC 0,782 указывает на то, что экзамены могут быть оценены с «хорошей» надежностью разными оценщиками.

Примечание по расчету ICC

Существует несколько различных версий ICC, которые можно рассчитать в зависимости от следующих трех факторов:

  • Модель: односторонние случайные эффекты, двусторонние случайные эффекты или двусторонние смешанные эффекты
  • Тип отношений: согласованность или абсолютное согласие
  • Единица измерения: один оценщик или среднее значение оценщиков.

В предыдущем примере ICC, который мы рассчитали, использовал следующие предположения:

  • Модель: двусторонние случайные эффекты
  • Тип отношений: абсолютное согласие
  • Единица измерения: одиночный оценщик

Подробное объяснение этих предположений можно найти в этой статье .

Замечательно! Вы успешно подписались.
Добро пожаловать обратно! Вы успешно вошли
Вы успешно подписались на кодкамп.
Срок действия вашей ссылки истек.
Ура! Проверьте свою электронную почту на наличие волшебной ссылки для входа.
Успех! Ваша платежная информация обновлена.
Ваша платежная информация не была обновлена.