Score-функция

Определение и одно свойство, из которого всё

$$\htmlData{k=score}{s(x)} = \nabla_x \log p(x)$$

Градиент берётся по аргументу, а не по параметрам, — в статистике словом score обычно называют другое, и путать их не стоит.

Всё остальное следует из одного наблюдения. Пусть плотность известна только с точностью до множителя: $p(x) = \tilde{p}(x)/Z$, где $Z$ неизвестно. Тогда

$\nabla_x \log p(x) = \nabla_x \big[\log \tilde{p}(x) - \log Z\big] = \nabla_x \log \tilde{p}(x)$

потому что $\log Z$ — константа по $x$. Проверено численно: для гауссианы, умноженной на $137$, score в точке $0.4$ равен $1.8367346938941154$ — те же цифры, что и без множителя.

Вот в чём ценность. Нормировочная константа — главная техническая трудность вероятностного моделирования: она равна интегралу по всему пространству, и в высокой размерности не считается. Score её не видит. Это и есть причина, по которой генерация формулируется через score, а не через плотность.

Как выглядит score

Для гауссианы всё считается в одну строку:

$\nabla_x \log \mathcal{N}(x; \mu, \sigma^2) = -\frac{x-\mu}{\sigma^2}$

Проверено конечными разностями: при $\mu = 1.3$, $\sigma = 0.7$ и $x = 0$ обе стороны дают $2.653061224$.

Читается это так: score указывает в сторону среднего, а его величина растёт с удалением. Плюс структурное наблюдение: score гауссианы — линейная функция, и ровно поэтому диффузия на первых шагах (где ядро почти гауссово) — задача несложная, а на последних, где плотность данных проступает, — трудная.

Для смеси score равен средневзвешенному по компонентам, с весами-ответственностями:

$\nabla\log p(x) = \sum_k \underbrace{\frac{w_k p_k(x)}{\sum_j w_j p_j(x)}}_{\text{ответственность}} \cdot \left(-\frac{x - \mu_k}{\sigma_k^2}\right)$

Проверено на смеси двух гауссиан в пяти точках — совпадение с конечными разностями до $10^{-10}$. Это ровно та формула, по которой виджет считает поле.

блуждание

сила guidance γ

1

шаг ε

0.05

температура T

1

макс. |score|

17.72

длина пути

98.5

доля времени у мод

32.4%

Три наблюдения из виджета:

1. Score растёт вдали от данных. У гауссианы он линеен по расстоянию, и в областях низкой плотности его величина велика. Значит именно там его труднее всего оценить — данных нет.
2. В нулях плотности score не определён. Логарифма нуля не существует, и никакой сети это не исправить. Это фундаментальная проблема, а не численная.
3. Между модами поле почти нулевое. Там ответственности сравниваются, и вклады компонент гасят друг друга. Сэмплер, попавший в эту область, не знает, куда идти — и без шума не выберется.

Пункты 1 и 3 объясняют, почему score-based модели не работают без зашумления данных: шум «раздувает» носитель распределения, убирает нули и наполняет пустоты информацией. Урок 060 покажет, что зашумление и есть то, что делает диффузия.

Как обучить score, не зная плотности

Естественная цель — приблизить score сетью $s_\theta$:

$\mathcal{L} = \mathbb{E}_{p}\Big[\tfrac12\|s_\theta(x) - \nabla\log p(x)\|^2\Big]$

Проблема очевидна: справа стоит то, чего мы не знаем. Тождество Хювяринена показывает, что цель эквивалентна другой, где неизвестной величины нет:

$$\mathcal{L} = \mathbb{E}_{p}\Big[\htmlData{k=trace}{\operatorname{tr}\big(\nabla_x s_\theta(x)\big)} + \tfrac12\|s_\theta(x)\|^2\Big] + \text{const}$$

Выводится интегрированием по частям; константа не зависит от $\theta$ и потому неважна. Проверено численно на гауссиане с $\mu = 1.3$, $\sigma = 0.7$ и линейным семейством $s(x) = a(x-b)$:

$a$	$b$	прямая цель	Хювяринен $+$ const
$-2.041$	$1.3$	$0.000$	$-0.003$
$-1.0$	$0.5$	$0.586$	$0.583$
$-3.0$	$2.0$	$2.432$	$2.432$

Совпадение с точностью Монте-Карло, и минимум обеих целей — в одном месте: $a = -1/\sigma^2 = -2.0408$, $b = \mu$.

Но эта цель непрактична. След якобиана в размерности $d$ требует $d$ обратных проходов — для изображения $256\times256\times3$ это двести тысяч проходов на один пример. Существуют приближения (sliced score matching, оценка Хатчинсона), но настоящее решение другое, и оно — тема урока 060: если данные зашумлены известным образом, score приближается без следа вовсе.

Итог

• Score не зависит от нормировочной константы, и это делает его правильным объектом для моделирования.
• Для гауссианы он линеен и указывает к среднему; для смеси — средневзвешенный по ответственностям.
• Он не определён в нулях плотности и плохо оцениваем там, где мало данных. Зашумление лечит и то, и другое.
• Обучать его можно без знания плотности (тождество Хювяринена), но цена — след якобиана, то есть $d$ проходов. Диффузия обходит эту цену полностью.