Коэффициент внутриклассовой корреляции (ICC) используется для определения того, могут ли предметы или предметы быть надежно оценены разными оценщиками.
Значение ICC может варьироваться от 0 до 1, где 0 указывает на отсутствие надежности среди оценщиков, а 1 указывает на идеальную надежность.
Самый простой способ вычислить ICC в R — использовать функцию icc() из пакета irr , которая использует следующий синтаксис:
icc(номиналы, модель, тип, блок)
куда:
- рейтинги: кадр данных или матрица рейтингов
- модель: Тип используемой модели. Варианты включают «односторонний» или «двусторонний»
- тип: тип отношения для расчета между оценщиками. Варианты включают «согласованность» или «согласие».
- unit: единица анализа. Варианты включают «одиночный» или «средний»
В этом руководстве представлен пример использования этой функции на практике.
Шаг 1: Создайте данные
Предположим, четырех разных судей попросили оценить качество 10 различных вступительных экзаменов в колледж. Мы можем создать следующий фрейм данных для хранения рейтингов судей:
#create data
data <- data.frame(A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))
Шаг 2: Рассчитайте коэффициент внутриклассовой корреляции
Предположим, четыре судьи были выбраны случайным образом из группы квалифицированных судей вступительных экзаменов, и что мы хотели бы измерить абсолютное согласие между судьями и что мы заинтересованы в использовании рейтингов с точки зрения одного оценщика в качестве основы для нашего измерения.
Мы можем использовать следующий код в R, чтобы соответствовать двусторонней модели , используя абсолютное согласие как отношение между оценщиками и используя единицу измерения в качестве нашей единицы интереса:
#load the interrater reliability package
library (irr)
#define data
data <- data.frame(A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))
#calculate ICC
icc(data, model = " twoway", type = " agreement", unit = " single ")
Model: twoway
Type : agreement
Subjects = 10
Raters = 4
ICC(A,1) = 0.782
F-Test, H0: r0 = 0 ; H1: r0 > 0
F(9,30) = 15.3 , p = 5.93e-09
95%-Confidence Interval for ICC Population Values:
0.554 < ICC < 0.931
Коэффициент внутриклассовой корреляции (ВКК) оказывается равным 0,782 .
Вот как интерпретировать значение коэффициента внутриклассовой корреляции согласно Ку и Ли :
- Менее 0,50: низкая надежность
- От 0,5 до 0,75: умеренная надежность.
- Между 0,75 и 0,9: хорошая надежность
- Более 0,9: превосходная надежность
Таким образом, мы пришли бы к выводу, что ICC 0,782 указывает на то, что экзамены могут быть оценены с «хорошей» надежностью разными оценщиками.
Примечание по расчету ICC
Существует несколько различных версий ICC, которые можно рассчитать в зависимости от следующих трех факторов:
- Модель: односторонние случайные эффекты, двусторонние случайные эффекты или двусторонние смешанные эффекты
- Тип отношений: согласованность или абсолютное согласие
- Единица измерения: один оценщик или среднее значение оценщиков.
В предыдущем примере ICC, который мы рассчитали, использовал следующие предположения:
- Модель: двусторонние случайные эффекты
- Тип отношений: абсолютное согласие
- Единица измерения: одиночный оценщик
Подробное объяснение этих предположений можно найти в этой статье .