MAP и байесовский взгляд

Четыре имени в одной формуле

Правило Байеса из урока про условную вероятность, записанное для параметра, — это весь байесовский вывод целиком.

$$\htmlData{k=post}{p(\theta \mid \mathcal{D})} = \frac{\htmlData{k=lik}{p(\mathcal{D} \mid \theta)}\ \htmlData{k=prior}{p(\theta)}}{\htmlData{k=ev}{p(\mathcal{D})}}$$

Четыре объекта, и у каждого своя роль:

• prior говорит, какие значения параметра вы считали правдоподобными до данных;
• likelihood — то самое, что MLE максимизирует в одиночку;
• posterior — распределение над $\theta$, а не точка. Это то, что байесовский вывод считает ответом;
• evidence от $\theta$ не зависит и на положение максимума не влияет — но именно он делает posterior распределением, и он же нужен для сравнения моделей.

MAP — это posterior, сжатый до точки

Считать интеграл в знаменателе дорого, а часто и невозможно. MAP отказывается от всего posterior и берёт только его максимум:

$\hat{\theta}_{\text{MAP}} = \argmax_\theta \big[\log p(\mathcal{D} \mid \theta) + \log p(\theta)\big]$

Evidence исчез, потому что от $\theta$ не зависит. Осталось log-правдоподобие плюс одно слагаемое — и это слагаемое есть регуляризатор.

Переключите prior в виджете. При десяти наблюдениях MLE и MAP стоят заметно врозь; поднимите $s$ и $f$ к сотне — метки сходятся. Регуляризация не «делает оценку лучше», она добавляет фиксированное число псевдонаблюдений, и их вес падает по мере роста выборки.

L(θ)·p(θ), нормировано на пик

log L(θ) + log p(θ)

успехов s

7

неудач f

3

добавить prior Beta(α, β)

MLE

0.7

значение в пике

-6.11

Для Бернулли с prior $\text{Beta}(\alpha, \beta)$ MAP считается в закрытой форме:

$\hat{\theta}_{\text{MAP}} = \frac{s + \alpha - 1}{n + \alpha + \beta - 2}$

Две подстановки стоит проделать самому. При $\alpha = \beta = 1$ дробь становится $s/n$ — плоский prior не меняет ничего, потому что добавляет ноль псевдонаблюдений. При $\alpha = \beta = 2$ получается $\frac{s+1}{n+2}$ — то самое сглаживание Лапласа из урока про непрерывные распределения, только теперь понятно, откуда оно берётся.

L2-регуляризация — это гауссов prior

Возьмите регрессию $y = w^\top x + \varepsilon$ с $\varepsilon \sim \mathcal{N}(0, \sigma^2)$ и prior $w \sim \mathcal{N}(0, \tau^2 I)$. Логарифм posterior:

$\log p(w \mid \mathcal{D}) = -\frac{1}{2\sigma^2}\sum_i (y_i - w^\top x_i)^2 - \frac{1}{2\tau^2}\|w\|^2 + \text{const}$

Умножьте на $-2\sigma^2$ и посмотрите, что получилось:

$\min_w \ \sum_i (y_i - w^\top x_i)^2 + \frac{\sigma^2}{\tau^2}\|w\|^2$

Это ridge-регрессия, буква в букву, с

$\lambda = \frac{\sigma^2}{\tau^2}$

Отсюда сразу читаются три вещи, которые иначе приходится запоминать:

• что означает $\lambda$. Отношение дисперсии шума к дисперсии prior. Большая $\lambda$ — это либо «данные шумные», либо «я уверен, что веса малы»;
• почему $\lambda \to 0$ даёт MLE. Широкий prior ($\tau \to \infty$) ничего не утверждает, и слагаемое исчезает;
• что L1 — тоже prior. Замените гауссов prior на Лапласа $p(w) \propto e^{-|w|/b}$, и вместо $\|w\|^2$ появится $\|w\|_1$. Разреженность Lasso — следствие того, что у Лапласа пик в нуле острый, а не гладкий.

Общее правило: любой аддитивный регуляризатор — это минус логарифм какого-то prior. Если вы можете написать штраф, вы уже выбрали prior, независимо от того, собирались ли.

Байесовский вывод против точечной оценки

MAP — это ещё не байесовский вывод, а компромисс: одна точка вместо распределения. Разница видна в трёх местах.

	MLE	MAP	полный Байес
ответ	точка	точка	распределение
prior	нет	есть	есть
evidence	не нужен	не нужен	нужен
неопределённость оценки	нет	нет	есть
предсказание	$p(y \mid \hat{\theta})$	$p(y \mid \hat{\theta})$	$\int p(y \mid \theta)p(\theta \mid \mathcal{D})\,d\theta$

Последняя строка — то, за что платят интегралом. Полное байесовское предсказание усредняет по всем параметрам с их весами, поэтому знает, что оно чего-то не знает. Точечная оценка выдаёт одно и то же уверенное число и на десяти наблюдениях, и на десяти миллионах.

Есть и неприятная особенность MAP, о которой обычно не говорят: аргмаксимум плотности зависит от параметризации. Перепараметризуйте $\theta \to \log\theta$ — и максимум плотности переедет, потому что плотность перевешивается на якобиан (это ровно урок про замену переменных). Среднее posterior так себя не ведёт. MLE от параметризации не зависит, потому что правдоподобие — не плотность по $\theta$.

Когда prior важен

Не всегда. Правило простое: вес prior измеряется в наблюдениях, и он проигрывает данным линейно по $n$.

• мало данных — prior определяет ответ. Ноль успехов из трёх: MLE говорит «невозможно», MAP с $\text{Beta}(2,2)$ говорит $1/5$;
• много данных — posterior концентрируется вокруг MLE, prior не важен (пока он не назначил истинному значению нулевую вероятность — тогда никакое количество данных не поможет);
• много параметров — prior важен снова, потому что данных на параметр мало. Weight decay в сети с миллиардом весов — это именно этот случай.

Последний пункт объясняет, почему регуляризация в глубоком обучении не факультативна: отношение числа наблюдений к числу параметров там такое, что чистый MLE переобучается всегда.