Всякий раз, когда мы подгоняем алгоритм машинного обучения к набору данных, мы обычно делим набор данных на три части:
1. Набор для обучения : используется для обучения модели.
2. Набор проверки : используется для оптимизации параметров модели.
3. Тестовый набор : используется для получения объективной оценки окончательной производительности модели.
Следующая диаграмма дает визуальное объяснение этих трех различных типов наборов данных:
Одной из причин путаницы для студентов является разница между проверочным набором и тестовым набором.
Проще говоря, проверочный набор используется для оптимизации параметров модели, а тестовый набор используется для обеспечения объективной оценки окончательной модели.
Можно показать, что частота ошибок, измеренная с помощью k-кратной перекрестной проверки, имеет тенденцию занижать истинную частоту ошибок, когда модель применяется к невидимому набору данных.
Таким образом, мы подгоняем окончательную модель к тестовому набору, чтобы получить объективную оценку того, какой будет истинная частота ошибок в реальном мире.
Следующий пример иллюстрирует разницу между проверочным набором и тестовым набором на практике.
Пример: понимание разницы между набором проверки и набором тестов
Предположим, инвестор в недвижимость хочет использовать (1) количество спален, (2) общее количество квадратных футов и (3) количество ванных комнат, чтобы предсказать цену продажи данного дома.
Предположим, у него есть набор данных с этой информацией о 10 000 домов. Во-первых, он разделит набор данных на обучающий набор из 8000 домов и тестовый набор из 2000 домов:
Затем он подгонит модель множественной линейной регрессии к набору данных четыре раза. Каждый раз он будет использовать 6000 домов для обучающего набора и 2000 домов для проверочного набора.
Это известно как k-кратная перекрестная проверка.
Учебный набор используется для обучения модели, а проверочный набор используется для оценки производительности модели. Каждый раз он будет использовать другую группу из 2000 домов для проверочного набора.
Он может выполнить эту k-кратную перекрестную проверку на нескольких различных типах регрессионных моделей, чтобы определить модель с наименьшей ошибкой (т. е. определить модель, которая лучше всего соответствует набору данных).
Только после того, как он определит наилучшую модель, он затем будет использовать тестовый набор из 2000 домов, который он держал в начале, чтобы получить непредвзятую оценку окончательной производительности модели.
Например, он может определить конкретный тип регрессионной модели со средней абсолютной ошибкой 8 345.То есть средняя абсолютная разница между прогнозируемой ценой дома и фактической ценой дома составляет 8 345 долларов.
Затем он может подогнать эту точную регрессионную модель к тестовому набору из 2000 домов, который еще не использовался, и обнаружить, что средняя абсолютная ошибка модели составляет 8847 .
Таким образом, объективная оценка истинной средней абсолютной ошибки модели составляет 8 847 долларов.
Дополнительные ресурсы
Простое руководство по K-кратной перекрестной проверке
Как выполнить перекрестную проверку K-Fold в Python
Как выполнить K-кратную перекрестную проверку в R