Оценка Брайера — это показатель, который мы используем в статистике для измерения точности вероятностных прогнозов. Обычно он используется, когда результат прогноза является бинарным — результат либо происходит, либо не происходит.
Например, предположим, что в прогнозе погоды говорится, что вероятность дождя составляет 90 %, а дождь действительно идет. Мы можем рассчитать оценку Брайера для этого прогноза, используя следующую формулу:
Оценка Брайера = (f – o) 2
куда:
f = прогнозируемая вероятность
o = результат (1, если событие происходит, 0, если оно не происходит)
В этом примере оценка Брайера для нашего прогноза будет (0,9 – 1) 2 = -0,1 2 = 0,01.
Оценка Бриера для набора прогнозов просто рассчитывается как среднее значение оценок Брайера для отдельных прогнозов:
Оценка Брайера = 1/n * Σ(f t – o t ) 2
куда:
n = размер выборки (количество прогнозов)
Σ = причудливый символ, означающий «сумма».
f t = прогнозируемая вероятность события t
o = результат события t (1, если событие происходит, 0, если оно не происходит)
Оценка Брайера может принимать любое значение от 0 до 1, где 0 — это наилучшая достижимая оценка, а 1 — наихудшая достижимая оценка. Чем ниже оценка Брайера, тем точнее прогноз(ы).
Примеры расчета баллов Бриера
Следующие примеры иллюстрируют, как рассчитать оценки Брайера.
Пример 1: Прогноз говорит, что вероятность дождя составляет 0%, и дождь идет.
Оценка Брайера = (0 – 1) 2 = 1
Пример 2: Прогноз говорит о 100-процентной вероятности дождя, и он действительно идет.
Оценка Брайера = (1 – 1) 2 = 0
Пример 3: Прогноз говорит, что вероятность дождя составляет 27%, и дождь идет.
Оценка Брайера = (0,27 – 1) 2 = 0,5329
Пример 4: Прогноз говорит, что вероятность дождя составляет 97%, а дождя нет.
Оценка Брайера = (0,97 – 0) 2 = 0,9409
Пример 5. Синоптик делает следующие прогнозы:
| Вероятность дождя | Исход | | --- | --- | | 27% | Дождь | | 67% | Дождь | | 83% | Дождя нет | | 90% | Дождь |
Мы можем рассчитать показатель Брайера для этого набора прогнозов, используя следующие формулы:
| Вероятность дождя | Исход | Брайер Счет | | --- | --- | --- | | 27% | Дождь | (0,27-1) 2 = 0,5329 | | 67% | Дождь | (0,67-1) 2 = 0,1089 | | 83% | Дождя нет | (0,83-0) 2 = 0,6889 | | 90% | Дождь | (0,90-1) 2 = 0,01 |
Оценка Брайера = (0,5329 + 0,1089 + 0,6889 + 0,01) / 4 = 0,3352 .
Оценки навыков Брайера
Оценка навыков Брайера — это метрика, которая говорит нам, насколько хорошо оценка Брайера новой модели прогнозирования сравнивается с существующей моделью прогнозирования. Он рассчитывается как:
Оценка навыка Брайера = (BS E – BS N ) / BS E
куда:
BS E = Оценка Брайера существующей модели
BS N = оценка Бриера для новой модели
Если оценка навыков Брайера положительна, новая модель делает более точные прогнозы. Если оценка навыков Брайера отрицательна, то новая модель дает худшие прогнозы. И если оценка навыков Брайера равна нулю, то новая модель не предлагает никаких улучшений по сравнению с существующей моделью.
Например, предположим, что наша существующая модель имеет показатель Брайера BS E = 0,4221, а наша новая модель имеет показатель Брайера BS N = 0,3352. Оценка навыков Брайера для нашей новой модели может быть рассчитана следующим образом:
Оценка навыка Брайера = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Поскольку это число положительное, это указывает на то, что наша новая модель дает более точные прогнозы по сравнению с существующей моделью.
Чем выше показатель навыка Брайера, тем больше улучшений в новой модели по сравнению с существующей моделью.