Стохастические дифференциальные уравнения

Уравнение с шумом

Прошлый урок работал с $dx = f\,dt$. Добавим шум:

$$dx = \htmlData{k=drift}{f(x, t)}\,dt + \htmlData{k=diff}{g(t)}\,\htmlData{k=wiener}{dW}$$

Винеровский процесс определяется тремя свойствами: $W(0) = 0$, приращения независимы, и

$W(t+h) - W(t) \sim \mathcal{N}(0, h)$

Обратите внимание на дисперсию: она равна $h$, а не $h^2$. Значит стандартное отклонение приращения равно $\sqrt{h}$, и это одна деталь, из которой следует вся необычность стохастического исчисления.

Почему $\sqrt{dt}$ меняет всё

Сравните два масштаба при малом шаге:

шаг $h$	детерминированное приращение $\sim h$	случайное $\sim \sqrt{h}$
$10^{-2}$	$0.01$	$0.1$
$10^{-4}$	$0.0001$	$0.01$
$10^{-6}$	$0.000001$	$0.001$

При измельчении шага случайная часть убывает медленнее, и на малых масштабах она доминирует. Отсюда два следствия, которые стоит проверить численно.

Полная вариация бесконечна. Сумма $\sum|\Delta W|$ растёт как $\sqrt{N}$:

$N$	$\sum\vert\Delta W\vert$	$\sqrt{2N/\pi}$
$10$	$3.00$	$2.52$
$100$	$7.60$	$7.98$
$1000$	$25.05$	$25.23$
$10\,000$	$79.60$	$79.79$

То есть траектория винеровского процесса нигде не дифференцируема, и её длина бесконечна. Запись $dW$ — обозначение, а не производная: производной у $W$ не существует.

Квадратичная вариация конечна и равна $t$. А вот $\sum(\Delta W)^2$ сходится:

$N$	среднее $\sum(\Delta W)^2$	разброс между прогонами
$10$	$0.909$	$0.402$
$100$	$1.010$	$0.153$
$1000$	$1.001$	$0.043$
$10\,000$	$0.994$	$0.015$

Не просто сходится по среднему — разброс стремится к нулю, то есть предел детерминирован. Это записывают как $(dW)^2 = dt$, и звучит это странно ровно до тех пор, пока не посмотреть на последний столбец.

Лемма Ито

Из $(dW)^2 = dt$ следует, что цепное правило меняется. Если $y = \varphi(x)$, то в разложении Тейлора член со второй производной нельзя выбросить: он содержит $(dx)^2$, а в нём есть $g^2(dW)^2 = g^2 dt$ — величина первого порядка по $dt$.

$dy = \underbrace{\left(\varphi'(x) f + \tfrac12 \varphi''(x) g^2\right)}_{\text{дрейф}} dt + \varphi'(x)\, g\, dW$

Второе слагаемое в дрейфе — поправка Ито, и её отсутствие в обычном анализе объясняется тем, что там $(dx)^2 \sim (dt)^2$ и действительно пренебрежимо.

Проверим на простейшем примере. Пусть $x = W$ и $y = W^2$. Обычное цепное правило дало бы $dy = 2W\,dW$, лемма Ито даёт $dy = dt + 2W\,dW$. Разница — то самое $dt$. Проверено на двадцати тысячах траекторий с двумя тысячами шагов:

формула	среднее $y(1)$	должно быть
Ито: $\int dt + \int 2W\,dW$	$0.989$	$1$
наивная: $\int 2W\,dW$	$-0.011$	$0$

Наивная версия систематически занижает результат ровно на $T = 1$, потому что $\mathbb{E}[W(1)^2] = 1$, а стохастический интеграл имеет нулевое среднее. Поправка Ито — не техническая деталь: без неё ответ неверен на конечную величину.

Фоккер–Планк: как движется плотность

СДУ описывает одну траекторию. Часто нужнее эволюция распределения $p_t(x)$, и она детерминирована:

$\frac{\partial p_t}{\partial t} = -\nabla\!\cdot\!\big(f\, p_t\big) + \tfrac12 g^2 \Delta p_t$

Формулировку достаточно понимать, а не выводить. Читается она как баланс: первое слагаемое — перенос плотности дрейфом, второе — расплывание из-за шума (это в точности уравнение теплопроводности). Значение для нас в том, что разные СДУ могут давать одну и ту же эволюцию плотности — и следующий факт этим пользуется.

Обращение времени

Вот теорема, на которой стоит вся диффузия. Если прямой процесс — это

$dx = f\,dt + g\,dW$

то процесс, идущий назад по времени и имеющий те же маргинальные плотности, есть

$$dx = \Big[f - g^2\, \htmlData{k=score}{\nabla_x \log p_t(x)}\Big]dt + g\, d\bar{W}$$

Всё, что отличает обратный процесс от прямого, — это одно слагаемое, и в нём одна незнакомая величина: score $\nabla\log p_t$. Дрейф $f$ и диффузия $g$ известны, потому что прямой процесс мы задали руками.

И вот в чём весь метод: генерация сводится к оценке score. Не к моделированию плотности, не к обучению дискриминатора, не к оценке нормировочной константы — к одной векторной функции, которая приближается сетью. Урок 040 разбирает эту функцию, урок 060 — как её обучить.

Probability-flow ОДУ

Второе следствие из того, что плотность определяется не траекториями. У того же семейства маргинальных плотностей есть детерминированное описание:

$\frac{dx}{dt} = f - \tfrac12 g^2 \nabla_x\log p_t(x)$

Шума нет вовсе, а маргинальные плотности те же. Обратите внимание на коэффициент: $\frac12$ вместо $1$ — это не опечатка, а ровно та компенсация, которая заменяет случайность.

Практическая ценность огромна, потому что теперь применим весь аппарат урока 020:

	обратное СДУ	probability-flow ОДУ
шум при сэмплировании	есть	нет
один вход → один выход	нет	да
решатели высокого порядка	почти бесполезны	работают
типичное число шагов	сотни	десятки
можно ли обратить сэмплирование	нет	да (инверсия)
разнообразие выборок	выше	ниже

Третья строка — прямое следствие урока 020. Поставьте в виджете шум и посмотрите на два последних readout’а: разброс между траекториями против разницы между методами на той же реализации шума.

dx = −2x dt + σ dWdx = (1 − x) dt + σ dW

Эйлер–МаруямаХойнRK4

время x

шагов

16

шум σ

0

x в конце

0.11807

ошибка

1.73e-2

измеренный порядок

1.01

разброс траекторий

—

разница методов

0.0173

Процесс Орнштейна–Уленбека — простейшая СДУ с притяжением к нулю. При σ = 0 это обычное затухание, и столбец «измеренный порядок» работает как в уроке 020.

Шум выключен: это обычное ОДУ, и порядок метода измеряется как в уроке 020.

Измерено на $dx = -2x\,dt + \sigma\,dW$ при $T = 1$ и шестидесяти четырёх шагах:

$\sigma$	разброс концов траекторий	$\vert$Эйлер $-$ Хойн$\vert$ на той же реализации
$0$	$0$	$0.0043$
$0.05$	$0.026$	$0.0043$
$0.2$	$0.105$	$0.0043$
$0.5$	$0.263$	$0.0044$

Правый столбец практически не меняется, левый растёт линейно. Отсюда правило, которое объясняет дизайн современных сэмплеров: если в сэмплировании есть шум, повышать порядок решателя почти бесполезно; если шума нет, это первое, что стоит сделать. Ровно поэтому DDIM (детерминированный) и получает выигрыш от методов второго порядка, а DDPM (стохастический) — нет.

Итог

• $dW \sim \sqrt{dt}$: случайная часть доминирует на малых масштабах, поэтому $W$ нигде не дифференцируем, а $(dW)^2 = dt$ в пределе детерминировано.
• Лемма Ито добавляет к цепному правилу $\frac12\varphi'' g^2\,dt$, и без этой поправки ответ неверен на конечную величину.
• Фоккер–Планк описывает эволюцию плотности, и одну эволюцию могут давать разные процессы.
• Обратное СДУ отличается от прямого одним слагаемым, содержащим score. Отсюда весь метод.
• Probability-flow ОДУ даёт те же маргинальные плотности без шума — и открывает дорогу решателям высокого порядка.