Формула Байеса

Формула Байеса — один из ключевых инструментов теории вероятностей. Она позволяет пересчитывать вероятности гипотез, когда появляется новая информация. Это особенно полезно в статистике, машинном обучении, медицине и других областях, где важно учитывать данные и корректировать прогнозы.

Суть формулы

Пусть есть набор гипотез $H_1, H_2, \dots, H_n$ , которые в сумме покрывают все возможные варианты (образуют полную группу событий), и есть событие $A$ , которое может произойти при одной из этих гипотез. Формула Байеса позволяет найти условную вероятность гипотезы при условии, что событие $A$ произошло:

$P(H_i|A) = \frac{P(A|H_i) \cdot P(H_i)}{P(A)}$

Где:

$P(H_i)$ — априорная вероятность гипотезы $H_i$ (до получения данных);
$P(A|H_i)$ — вероятность события $A$ при условии, что верна гипотеза $H_i$ ;
$P(H_i|A)$ — апостериорная вероятность гипотезы после того, как мы узнали, что $A$ произошло;
$P(A)$ — полная вероятность события $A$ .

Знаменатель $P(A)$ удобно считать по формуле полной вероятности:

$P(A) = \sum_{i=1}^{n} P(A|H_i) \cdot P(H_i)$

То есть мы суммируем «вклад» каждой гипотезы в вероятность события $A$ .

Пример 1.

Рассмотрим классическую задачу, которая хорошо показывает силу формулы Байеса. Пусть заболевание встречается у 1% населения. Тест на заболевание имеет следующие характеристики:

Если человек болен, тест положителен с вероятностью 99%.
Если человек здоров, тест всё равно может быть положительным (ложноположительный результат) с вероятностью 5%.

Вопрос: если тест дал положительный результат, какова вероятность, что человек действительно болен?

Решение:

Гипотезы: $H_1 =$ «болен», $H_2 =$ «здоров».
Априорные вероятности: $P(H_1) = 0.01$ , $P(H_2) = 0.99$ .
Условные вероятности теста: $P(+|H_1) = 0.99$ , $P(+|H_2) = 0.05$ .
Считаем полную вероятность положительного теста:

$P(+) = P(+|H_1)\cdot P(H_1) + P(+|H_2)\cdot P(H_2) = 0.99 \cdot 0.01 + 0.05 \cdot 0.99 = 0.0099 + 0.0495 = 0.0594$

Теперь применяем формулу Байеса:

$P(H_1|+) = \frac{P(+|H_1)\cdot P(H_1)}{P(+)} = \frac{0.99 \cdot 0.01}{0.0594} = \frac{0.0099}{0.0594} \approx 0.1667$

Получается, что даже при положительном тесте вероятность болезни — примерно 16.7%. Это может показаться неожиданным, но объясняется тем, что заболевание редкое, а ложноположительных результатов достаточно много.

Важно: Низкая итоговая вероятность не означает, что тест плохой. Она возникает из‑за малой априорной вероятности заболевания: даже небольшой процент ложноположительных среди большой группы здоровых даёт много «лишних» положительных тестов.

Пример 2.

Деталь может быть произведена на заводе 1 (60%) или заводе 2 (40%). Брак на заводе 1 — 2%, на заводе 2 — 5%. Взятая деталь оказалась бракованной. Какова вероятность, что она с завода 1?

Решение:

Гипотезы: $H_1$ — деталь с завода 1, $H_2$ — с завода 2, $B$ — деталь бракованная.
Априорные вероятности: $P(H_1) = 0.6$ , $P(H_2) = 0.4$ .
Условные вероятности брака: $P(B|H_1) = 0.02$ , $P(B|H_2) = 0.05$ .

$P(B) = P(B|H_1)\cdot P(H_1) + P(B|H_2)\cdot P(H_2) = 0.02 \cdot 0.6 + 0.05 \cdot 0.4 = 0.012 + 0.02 = 0.032$

$P(H_1|B) = \frac{P(B|H_1)\cdot P(H_1)}{P(B)} = \frac{0.02 \cdot 0.6}{0.032} = \frac{0.012}{0.032} = 0.375$

Вероятность того, что бракованная деталь с завода 1, равна 37.5%.

Пример 3.

Дождь бывает в 30% дней. Если дождь, то люди берут зонт с вероятностью 90%. Если сухо, зонт берут с вероятностью 10%. Сегодня у прохожего зонт. Какова вероятность дождя?

Решение: