Условная вероятность и правило Байеса

Определение и его смысл

$P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \qquad P(B) > 0$

Формулу стоит читать не как правило вычисления, а как смену универсума. Мы узнали, что произошло $B$, и всё, что вне $B$, больше не рассматриваем. Числитель — та часть $A$, которая выжила; знаменатель — нормировка, чтобы новый универсум снова имел полную вероятность единицу.

Отсюда видно, почему требуется $P(B) > 0$: обусловливаться на невозможном событии бессмысленно, делить не на что.

Немедленное следствие — правило умножения:

$P(A \cap B) = P(A \mid B)\,P(B) = P(B \mid A)\,P(A)$

Одно и то же пересечение разложено двумя способами. Приравняв их, мы уже получим Байеса — но сначала о том, как считать знаменатель.

Формула полной вероятности

Если события $H_1, \ldots, H_n$ разбивают $\Omega$ (попарно несовместны и в объединении дают всё), то

$P(E) = \sum_i P(E \mid H_i)\,P(H_i)$

Читается как «взвешенное среднее по сценариям». Вероятность улики $E$ складывается из вкладов каждой гипотезы, взвешенных её собственной вероятностью.

Правило Байеса

Приравняем два разложения пересечения и поделим:

$$\htmlData{k=post}{P(H \mid E)} = \frac{\htmlData{k=like}{P(E \mid H)}\,\htmlData{k=prior}{P(H)}}{\htmlData{k=ev}{P(E)}}$$

Четыре имени, которые будут встречаться до конца курса. Prior — априорная вероятность гипотезы, likelihood — насколько хорошо гипотеза объясняет данные, posterior — результат, evidence — знаменатель, который считается по формуле полной вероятности и обеспечивает нормировку.

Механика простая: Байес переворачивает обусловливание. У нас есть $P(E \mid H)$ — модель того, как гипотеза порождает наблюдения, — а нужно $P(H \mid E)$, вывод о гипотезе по наблюдению. Именно это и делает почти всё машинное обучение.

Почему хороший тест не даёт уверенности

Классический пример. Болезнь встречается у 1% людей. Тест выявляет её в 99% случаев и даёт 5% ложных срабатываний на здоровых. Тест положительный. Какова вероятность болезни?

Интуиция говорит «около 99%». Правильный ответ — 16.7%.

Квадрат ниже показывает, почему. Ширина левого столбца — prior, то есть 1%. Внутри столбцов высота разделена по вероятностям срабатывания теста. Обусловливание на положительном результате означает: оставить только две обведённые пунктиром области и сравнить их площади.

верно положительные: 0.0099 ложно положительные: 0.0495

P(H) — распространённость

0.01

P(E|H) — чувствительность

0.99

P(E|¬H) — ложные срабатывания

0.05

P(H)

0.01

P(E)

0.0594

P(H|E)

0.1667

Ключ к пониманию — сравнить площади, а не проценты. Верных срабатываний $0.01 \times 0.99 \approx 0.0099$. Ложных — $0.99 \times 0.05 \approx 0.0495$, то есть в пять раз больше. Пять процентов от огромной группы здоровых дают больше случаев, чем 99% от крошечной группы больных.

$P(H \mid E) = \frac{0.0099}{0.0099 + 0.0495} \approx 0.167$

Подвигайте ползунки и убедитесь в двух вещах. Во-первых, чтобы posterior добрался до 50%, ложные срабатывания должны опуститься примерно до 1% — то есть до уровня самой распространённости. Во-вторых, при росте prior всё становится нормально: диагностическая ценность теста зависит не только от теста.

Байесовский взгляд

Ту же формулу можно записать так:

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

Знак пропорциональности избавляет от знаменателя: он не зависит от $H$ и нужен только для нормировки. В этой форме Байес читается как правило обновления убеждений: у вас было мнение, пришли данные, мнение сдвинулось — тем сильнее, чем лучше данные различают гипотезы.

Здесь же корень практических следствий, к которым вернёмся:

• MAP-оценка — максимум posterior, и регуляризация оказывается prior’ом;
• evidence $P(E)$ — тот самый неберущийся интеграл маргинализации из блока 2, из-за которого существуют вариационные методы и ELBO;
• naive Bayes — классификатор, который прямо считает эту дробь, приняв дополнительное предположение из следующего урока.

Частая ошибка: путать направления

$P(E \mid H)$ и $P(H \mid E)$ — разные числа, и обычно очень разные. В примере выше первое равно $0.99$, второе $0.167$.

Смешение этих двух вещей настолько распространено, что имеет собственное имя — «ошибка прокурора». Формулировки вроде «вероятность такого совпадения случайно равна одному на миллион, значит подсудимый виновен с вероятностью 0.999999» подменяют $P(\text{данные} \mid \text{невиновен})$ на $P(\text{невиновен} \mid \text{данные})$, молча выбрасывая prior.

Проверка простая: если в рассуждении не участвует базовая ставка, то оно почти наверняка про likelihood, а не про posterior.