Максимальное правдоподобие

Правдоподобие — это не плотность

Одна и та же формула $p(x \mid \theta)$ читается двумя способами, и путать их нельзя:

• как плотность: $x$ переменная, $\theta$ фиксирован. Интегрируется в единицу;
• как правдоподобие: $\theta$ переменная, $x$ фиксирован. Не интегрируется ни во что осмысленное.

Правдоподобие не является распределением над $\theta$. Именно поэтому пишут $L(\theta) = p(x \mid \theta)$ и говорят «правдоподобие параметра», а не «вероятность параметра» — вероятностью параметра будет posterior, и для него нужен prior.

MLE

$$\hat{\theta} = \htmlData{k=arg}{\argmax_\theta} \ \htmlData{k=sum}{\sum_{i=1}^{n} \log p(x_i \mid \theta)}$$

Для iid-выборки правдоподобие — произведение $\prod_i p(x_i \mid \theta)$, и логарифм превращает его в сумму. Причины брать логарифм три, и все практические:

1. Численная. Произведение тысячи вероятностей underflow’ится в нуль. Проверить легко: у сбалансированной монеты правдоподобие при $\theta = 0.5$ уже равно $8 \cdot 10^{-31}$ на ста наблюдениях и точно нулю чуть больше тысячи.
2. Вычислительная. Производная суммы — сумма производных; производная произведения — кошмар.
3. Аргмаксимум не меняется. Логарифм монотонен, поэтому максимум там же.

Третий пункт — то, что делает первые два законными. Переключитесь между двумя графиками ниже: пик стоит на одном месте, но у сырого правдоподобия при большой выборке видна только тонкая иголка, а у логарифма — читаемая кривая.

L(θ), нормировано на пик

log L(θ)

успехов s

7

неудач f

3

MLE

0.7

log L в пике

-6.11

Поднимите число наблюдений до сотни: пик становится узким. Это не случайность — кривизна log-правдоподобия в максимуме растёт как $n$, и с ней падает неопределённость оценки. Величина этой кривизны называется информацией Фишера, и она вернётся в блоке 5 в разговоре про natural gradient.

Вывод для Бернулли

$\log L(\theta) = s\log\theta + f\log(1-\theta)$

где $s$ — число успехов, $f$ — неудач. Дифференцируем и приравниваем нулю:

$\frac{s}{\theta} - \frac{f}{1-\theta} = 0 \ \Longrightarrow \ s(1-\theta) = f\theta \ \Longrightarrow \ \hat{\theta} = \frac{s}{s+f}$

Ответ — доля успехов, то есть в точности то, что подсказывает интуиция. Ценность вывода не в ответе, а в том, что механизм тот же для любого распределения.

Вывод для гауссианы

$\log L(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_i (x_i - \mu)^2$

По $\mu$: производная даёт $\sum_i (x_i - \mu) = 0$, откуда $\hat{\mu} = \bar{x}$ — выборочное среднее.

По $\sigma^2$: получается $\hat{\sigma}^2 = \frac{1}{n}\sum_i (x_i - \bar{x})^2$ — и обратите внимание на делитель $n$, а не $n-1$. MLE дисперсии смещена, и это не ошибка вывода, а свойство метода. Разберём в уроке про смещение.

Но самое важное здесь другое. При фиксированном $\sigma$ максимизация log-правдоподобия сводится к

$\min_\mu \sum_i (x_i - \mu)^2$

то есть к наименьшим квадратам. Отсюда общий и часто неочевидный факт: MSE — это не произвольный выбор функции потерь, а минус log-правдоподобие при гауссовском шуме постоянной дисперсии. Выбирая MSE, вы принимаете это предположение, знаете вы об этом или нет.

Как узнавать лоссы

Та же логика превращает каждую стандартную функцию потерь в предположение о шуме:

предположение о данных	минус log-правдоподобие
гауссовский шум	MSE
Бернулли	бинарная кросс-энтропия
категориальное	кросс-энтропия
Пуассона	пуассоновский лосс
Лаплас (тяжёлые хвосты)	MAE

Последняя строка полезна практически: MAE устойчивее к выбросам не «потому что модуль», а потому что распределение Лапласа имеет более тяжёлые хвосты и не считает далёкую точку невероятной.

Ограничения MLE

Три, и все встречаются постоянно:

• переобучение. MLE максимизирует правдоподобие данных, а не будущих наблюдений. При богатой модели она подгонит шум;
• вырожденные решения. Ноль успехов из четырёх даёт $\hat{\theta} = 0$ — «успех невозможен». Проверьте на виджете, выставив $f = 4$, $s = 0$;
• смещение. Как у $\hat{\sigma}^2$ выше.

Все три лечатся одним и тем же — добавлением prior, то есть переходом к MAP. Это следующий урок.