Прямая и обратная KL

Два направления

Пусть $p$ — то, что есть (данные, истинный posterior), а $q$ — то, чем мы приближаем, и $q$ проще: например, одна гауссиана. Тогда «подогнать $q$ под $p$» можно двумя способами, и они дают разные ответы.

$$\htmlData{k=fwd}{\text{KL}(p \,\|\, q) = \mathbb{E}_{p}\!\left[\log \frac{p}{q}\right]} \qquad\qquad \htmlData{k=rev}{\text{KL}(q \,\|\, p) = \mathbb{E}_{q}\!\left[\log \frac{q}{p}\right]}$$

Разница целиком в том, по какому распределению берётся ожидание, и из этого следует всё остальное.

Логика штрафов

Посмотрите, где каждая дивергенция становится большой.

Прямая, $\text{KL}(p\|q)$: ожидание берётся по $p$, поэтому вклад есть только там, где $p > 0$. Если в такой точке $q \approx 0$, логарифм $\log \frac{p}{q}$ взрывается. Штраф за то, что $q$ пропустила массу $p$. Обратное не наказывается: где $p = 0$, слагаемое равно нулю, и что там делает $q$, дивергенции безразлично.

Обратная, $\text{KL}(q\|p)$: ожидание по $q$, вклад только там, где $q > 0$. Если там $p \approx 0$, взрыв. Штраф за массу $q$ в местах, где $p$ её не предусмотрел. А пропуск моды $p$ бесплатен — туда $q$ просто не заглянет.

Отсюда названия:

	прямая $\text{KL}(p\|q)$	обратная $\text{KL}(q\|p)$
поведение	mass-covering, «покрывающая»	mode-seeking, «выбирающая моду»
боится	пропустить массу $p$	попасть туда, где $p$ пусто
результат на бимодальном $p$	размазывается между модами	садится на одну моду
требует	сэмплы из $p$ (данные)	вычислять $p$ в точке

Последняя строка объясняет, кто где используется, и это не вопрос вкуса.

Числа

Возьмём $p = \frac12\mathcal{N}(-2, 0.5^2) + \frac12\mathcal{N}(2, 0.5^2)$ — две узкие моды — и будем приближать её одной гауссианой $q = \mathcal{N}(\mu, \sigma^2)$. Оптимумы найдены сеточным поиском:

что минимизируем	$\mu$	$\sigma$	значение
прямую $\text{KL}(p\|q)$	$0.00$	$2.05$	$0.724$ ната
обратную $\text{KL}(q\|p)$	$2.00$	$0.49$	$0.693$ ната

Прямая KL встала посередине между модами, накрыв обе — в точке, где у $p$ плотность минимальна. Обратная выбрала правую моду и воспроизвела её ширину почти точно ($0.49$ против истинных $0.5$).

Два перекрёстных числа показывают, насколько это не мелочь:

• прямая KL на решении обратной ($\mu = 2$, $\sigma = 0.5$) равна $15.31$ — против $0.724$ в своём оптимуме. Пропуск моды для неё катастрофа;
• обратная KL на решении прямой ($\mu = 0$, $\sigma = 2.06$) равна $2.09$ — против $0.693$. Хуже втрое, но не катастрофа.

И красивая деталь: оптимум обратной KL равен $0.693 \approx \ln 2$. Не совпадение — $q$ покрыла одну моду из двух, то есть ровно половину массы $p$, а цена «не знать про половину» и есть $\ln 2$.

Два независимых подтверждения

Оптимум прямой KL в гауссовском семействе можно получить без всякого поиска. Раскроем:

$\text{KL}(p\|q) = \underbrace{-H(p)}_{\text{const}} - \mathbb{E}_p[\log q]$

Остаётся максимизировать $\mathbb{E}_p[\log q]$ — то есть сделать MLE гауссианы по «выборке», распределённой как $p$. Ответ известен из блока 3: совпадение первых двух моментов.

$\mu^* = \mathbb{E}_p[X] = 0, \qquad \sigma^{*2} = \operatorname{Var}_p(X) = 4 + 0.25 = 4.25$

то есть $\sigma^* = 2.0616$ — а сетка дала $2.05$ при шаге $0.026$. Совпадает.

Минимизация прямой KL в экспоненциальном семействе — это в точности сопоставление моментов. Тот же факт, что делал softmax параметризацией категориального в блоке 3, здесь объясняет, почему прямая KL «размазывает»: она согласует средние, а не форму.

Кто что использует

Различие полностью практическое.

Обратная KL — вариационный вывод и VAE. В $\text{KL}(q\|p)$ ожидание берётся по $q$, из которого мы умеем сэмплировать по построению. Прямую KL здесь считать нельзя: сэмплов из истинного posterior у нас нет — за ними мы и пришли. Отсюда известное свойство: VAE недооценивает дисперсию posterior и склонен к смазанным реконструкциям. Это не баг реализации, а поведение выбранного направления.

Прямая KL — обучение с учителем. Кросс-энтропийный лосс — это $\text{KL}(\hat p_{\text{данные}} \| p_{\text{модель}})$. Ожидание по данным, которых у нас как раз много. Соответственно модель наказывается за нулевую вероятность на наблюдённом примере — и это именно то, чего мы хотим от классификатора.

Обе — RLHF и PPO. Там KL-штраф удерживает политику около исходной модели, и направление выбирают из тех же соображений: считать надо то, из чего умеешь сэмплировать.

метод	направление	почему так
обучение с учителем	прямая	есть сэмплы из данных
VAE, вариационный вывод	обратная	есть сэмплы только из $q$
дистилляция	обычно прямая	учитель даёт всё распределение
GAN	ни та, ни другая (JS, Вассерштейн)	носители не пересекаются

Между двумя крайностями есть непрерывное семейство — $\alpha$-дивергенции, где прямая и обратная KL суть предельные случаи $\alpha \to 1$ и $\alpha \to 0$. На практике почти всегда берут край, но полезно знать, что выбор не бинарный.