Одной из наиболее распространенных метрик, используемых для измерения точности прогнозирования модели, является MAPE , что означает среднюю абсолютную ошибку в процентах .
Формула для расчета MAPE выглядит следующим образом:
MAPE = (1/n) * Σ(|факт – прогноз| / |факт|) * 100
куда:
- Σ — причудливый символ, означающий «сумма».
- n – размер выборки
- фактический – фактическое значение данных
- прогноз – прогнозируемое значение данных
MAPE широко используется, потому что его легко интерпретировать и объяснить. Например, значение MAPE, равное 8%, означает, что средняя разница между прогнозируемым значением и фактическим значением составляет 8%.
Один из самых частых вопросов, которые возникают у людей при использовании этой метрики:
Что является хорошей ценностью для MAPE?
Неудовлетворительный ответ: это зависит от .
Очевидно, что чем ниже значение MAPE, тем лучше, но нет конкретного значения, которое можно было бы назвать «хорошим» или «плохим». Это зависит от пары факторов:
- Тип отрасли
- Значение MAPE по сравнению с простой моделью прогнозирования
Давайте рассмотрим эти два фактора более подробно.
MAPE зависит от отрасли
Часто компании создают прогнозы спроса на свою продукцию, а затем используют MAPE как способ измерения точности прогнозов.
К сожалению, не существует «стандартного» значения MAPE, поскольку оно может сильно различаться в зависимости от типа компании.
Например, компания, которая редко меняет свои цены, скорее всего, будет иметь устойчивый и предсказуемый спрос, а это значит, что у нее может быть модель, обеспечивающая очень низкую MAPE, возможно, менее 3%.
Для других компаний, которые постоянно проводят рекламные акции и специальные предложения, их спрос будет сильно меняться с течением времени, и, таким образом, модели прогнозирования, вероятно, будет труднее прогнозировать спрос с такой точностью, что означает, что модели могут иметь более высокую ценность для MAPE.
Вы должны очень скептически относиться к «отраслевым стандартам» для MAPE.
Сравните MAPE с простой моделью прогнозирования
Вместо того, чтобы пытаться сравнить MAPE вашей модели с каким-то произвольным «хорошим» значением, вам следует сравнить его с MAPE простых моделей прогнозирования.
Есть две хорошо известные простые модели прогнозирования:
1. Метод среднего прогноза.
Этот тип модели прогноза просто предсказывает значение для следующего предстоящего периода как среднее значение всех предыдущих периодов. Хотя этот метод кажется слишком упрощенным, на практике он хорошо работает.
2. Наивный метод прогнозирования.
Этот тип модели прогноза предсказывает, что значение для следующего предстоящего периода будет равно предыдущему периоду. Опять же, хотя этот метод довольно прост, он работает на удивление хорошо.
При разработке новой модели прогнозирования следует сравнить MAPE этой модели с MAPE этих двух простых методов прогнозирования.
Если MAPE вашей новой модели не намного лучше, чем эти два метода, то вы не должны считать его полезным.
Заключительные мысли
Хотя MAPE широко используется и легко интерпретируется, у его использования есть пара потенциальных недостатков:
1. Поскольку формула для расчета абсолютной процентной ошибки |фактический-прогноз| / |фактическое| это означает, что он будет неопределенным, если какое-либо из фактических значений равно нулю.
- MAPE не следует использовать с данными небольшого объема. Например, если фактический спрос на какой-либо товар равен 2, а прогноз равен 1, значение абсолютной процентной ошибки будет |2-1| / |2| = 50%, что создает впечатление, что ошибка прогноза довольно высока, несмотря на то, что прогноз отличается всего на одну единицу.
Потенциальные альтернативы MAPE включают среднее абсолютное отклонение и среднеквадратичную ошибку.
Дополнительные ресурсы
Как рассчитать MAPE в Excel
Как рассчитать MAPE в R
Как рассчитать MAPE в Python
Что считается хорошим значением RMSE?