Одним из наиболее распространенных способов оценки эффективности модели классификации является создание матрицы путаницы, которая суммирует прогнозируемые результаты модели по сравнению с фактическими результатами набора данных.
Две метрики, которые нас часто интересуют в матрице путаницы, — это положительная прогностическая ценность и чувствительность .
Положительная прогностическая ценность — это вероятность того, что наблюдение с положительным прогнозируемым результатом действительно имеет положительный результат.
Он рассчитывается как:
Положительное прогностическое значение = истинные положительные результаты / (истинные положительные результаты + ложные положительные результаты)
Чувствительность — это вероятность того, что наблюдение с положительным результатом действительно имеет положительный прогнозируемый результат.
Он рассчитывается как:
Чувствительность = истинные положительные результаты / (истинные положительные результаты + ложноотрицательные результаты)
В следующем примере показано, как рассчитать обе эти метрики на практике.
Пример: расчет положительной прогностической ценности и чувствительности
Предположим, врач использует модель логистической регрессии, чтобы предсказать, есть ли у 400 человек определенное заболевание.
Следующая матрица путаницы суммирует прогнозы, сделанные моделью:
Мы бы рассчитали положительную прогностическую ценность как:
- Положительное прогностическое значение = истинные положительные результаты / (истинные положительные результаты + ложные положительные результаты)
- Положительная прогностическая ценность = 15/(15 + 10)
- Положительная прогностическая ценность = 0,60
Это говорит нам о том, что вероятность того, что человек, получивший положительный результат теста, действительно болен , равна 0,60 .
Мы рассчитываем чувствительность как:
- Чувствительность = истинные положительные результаты / (истинные положительные результаты + ложноотрицательные результаты)
- *Чувствительность* = 15/(15+5)
- Чувствительность = 0,75
Это говорит нам о том, что вероятность того, что человек, у которого есть заболевание, действительно получит положительный результат теста, равна 0,75 .
Дополнительные ресурсы
В следующих руководствах объясняется, как создать матрицу путаницы в различных статистических программах:
Как создать матрицу путаницы в Excel
Как создать матрицу путаницы в R
Как создать матрицу путаницы в Python