Ланжевеновская динамика

Один шаг

Есть score. Как из него получить выборки? Ответ короче ожидаемого:

$$x_{k+1} = x_k + \htmlData{k=drift}{\epsilon\, \nabla_x \log p(x_k)} + \htmlData{k=noise}{\sqrt{2\epsilon}\, z_k}, \qquad z_k \sim \mathcal{N}(0, I)$$

Первое слагаемое — обычный градиентный подъём по $\log p$ (блок 5). Второе — шум, и множитель у него $\sqrt{2\epsilon}$, а не $\epsilon$: это ровно тот масштаб, при котором стационарным распределением цепи оказывается $p$, а не что-то другое.

При $\epsilon \to 0$ и числе шагов $\to\infty$ распределение $x_k$ сходится к $p$. Заметьте, чего здесь нет: ни нормировочной константы, ни самой плотности — только её score.

Почему без шума не работает

Уберите шумовой член, и останется градиентный подъём. Он находит моду и там остаётся. Поставьте температуру в нуль и посмотрите на readout «доля времени у мод».

блуждание

сила guidance γ

1

шаг ε

0.05

температура T

1

макс. |score|

17.72

длина пути

98.5

доля времени у мод

32.4%

Разница между двумя режимами — это разница между двумя разными задачами:

	градиентный подъём	Ланжевен
что находит	одну моду	выборку из $p$
соотношение мод	теряется	сохраняется
куда сходится	точка	распределение
зачем нужен	оптимизация	генерация

Для генеративной модели первый столбец бесполезен: он даёт «самое типичное» изображение, а нужны разные.

Три источника ошибки

Теория обещает сходимость при $\epsilon \to 0$ и бесконечном числе шагов. На практике не то и не другое, и стоит понимать, чем именно платят.

Смещение дискретизации. При конечном $\epsilon$ стационарное распределение цепи — не $p$, а что-то рядом, и расхождение растёт с $\epsilon$. Исправляется поправкой Метрополиса–Гастингса (блок 3, урок 170), которая делает цепь точной ценой шага принятия/отклонения.

Конечное время смешивания. Чтобы перейти из одной моды в другую, блуждание должно пройти область низкой плотности, где score почти нулевой (урок 040) и движение случайно. Время такого перехода растёт экспоненциально с глубиной разделяющей ямы. Практически это означает, что цепь застревает в той моде, где стартовала.

Неизвестный score вне носителя. Сеть обучалась там, где были данные. Стартовая точка блуждания берётся из широкого распределения — то есть заведомо оттуда, где оценка score недостоверна.

Отжиг по уровням шума

Последние две проблемы решаются одним приёмом, и он же оказывается диффузией.

Возьмём семейство зашумлённых версий распределения: $p_\sigma$ — это данные плюс гауссов шум масштаба $\sigma$. Тогда

$\sigma$	что происходит с $p_\sigma$
большое	почти гауссиана; мод нет, ям нет, носитель — всё пространство
среднее	моды проступают, но разделены неглубоко
малое	почти исходные данные, ямы глубокие

Сэмплирование идёт от большого $\sigma$ к малому, каждый раз запуская Ланжевена на несколько шагов и передавая результат дальше. При большом $\sigma$ переходы между модами дёшевы, потому что ям почти нет; к моменту, когда ямы появляются, точка уже находится в правильной области.

Это в точности annealed Langevin, и это же — обратный процесс диффузии, записанный по-другому. Урок 060 покажет, что и обучение здесь то же самое.

Что дают ручки виджета

ручка	что меняет	что видно
шаг $\epsilon$	размер и подъёма, и шума	большой $\epsilon$ — грубее и быстрее, смещение растёт
температура $T$	только шум	$T=0$ — подъём, $T=1$ — сэмплирование, $T>1$ — плоское распределение
guidance $\gamma$	умножает score	сэмплирование из $p^\gamma$: моды острее, хвосты беднее

Про третью строку стоит сказать точно, потому что она пригодится в уроке 080. Умножение score на $\gamma$ — это в точности score распределения $p^\gamma$, поскольку

$\nabla \log p^\gamma = \gamma \nabla\log p$

То есть «усилить guidance» математически означает «сэмплировать из более острого распределения», и температура в языковых моделях — та же операция с $\gamma = 1/T$.

Итог

• Ланжевен превращает score в сэмплер: подъём плюс шум масштаба $\sqrt{2\epsilon}$.
• Без шума это поиск моды, а не генерация; соотношение мод теряется полностью.
• Три источника ошибки: смещение дискретизации, экспоненциальное время смешивания, недостоверный score вне данных.
• Отжиг по уровням шума решает две последние — и оказывается диффузией.
• Умножение score на $\gamma$ = сэмплирование из $p^\gamma$. Эта строчка вернётся в уроке 080.