Расписания шума

Расписание — это распределение бюджета

Из урока 010 известно, что состояние процесса описывается одним числом $\bar\alpha_t$. Значит расписание — это просто функция $\bar\alpha(t)$, монотонно падающая от единицы к нулю. Всё остальное — способ её записать.

Правильная величина для сравнения расписаний — не $\bar\alpha$, а отношение сигнала к шуму, и лучше в логарифме:

$$\htmlData{k=snr}{\lambda_t} = \log\frac{\bar\alpha_t}{1-\bar\alpha_t}$$

Причина в том, что log-SNR напрямую отвечает на вопрос «насколько трудна задача на этом шаге», а $\bar\alpha$ — нет. И вот главный вопрос всего урока: сколько шагов расписание тратит на трудные задачи, а сколько на бессмысленные?

Линейное против косинусного

Посчитаем, как тысяча шагов распределяется по режимам:

доля шагов, у которых	линейное	косинусное
SNR $< 1$ (шум преобладает)	$74\%$	$50\%$
SNR $< 0.1$	$52\%$	$20\%$
SNR $< 0.01$ (почти чистый шум)	$33\%$	$6\%$

Треть бюджета линейного расписания уходит на шаги, где от данных не осталось практически ничего. Там нечему учиться и нечего восстанавливать: сеть предсказывает шум по шуму. Косинусное тратит на это же шесть процентов.

Проверьте по виджету, где сигнал и шум сравниваются:

расписание	SNR $= 1$ при $t$
линейное	$0.26$
косинусное	$0.50$
квадратичное $\bar\alpha = 1-t^2$	$0.71$

линейноекосинусноеквадратичное

данные при t

сигнал/шум, log-шкала

время t

0.5

ᾱ

0.0784

√ᾱ

0.28

√(1−ᾱ)

0.96

сигнал/шум

0.085

равенство при t

0.259

Шум преобладает. Шаги в этом режиме дёшевы по информации: восстанавливать почти нечего, и модель на них учится мало.

Здесь стоит быть точным: косинусное расписание не «лучше» само по себе. Оно перераспределяет бюджет туда, где происходит содержательная работа. Если бы данные требовали иного распределения трудности, оптимальным было бы другое расписание — и именно поэтому существуют обучаемые расписания (Variational Diffusion Models), где $\lambda_t$ подбирается вместе с моделью.

Оговорка про сам косинус: он загоняет $\bar\alpha$ к $3.7\cdot10^{-33}$ на последнем шаге, что бессмысленно и численно опасно. На практике $\beta$ обрезают сверху (обычно $0.999$), и в оригинальной работе это сделано именно так.

Дискретизация: сколько шагов на самом деле нужно

Тысяча шагов при обучении — не то же самое, что тысяча при сэмплировании. Обучение выбирает $t$ случайно, а сэмплирование обязано пройти путь целиком, и каждый шаг — прогон сети.

DDIM показывает, что подмножество шагов работает: берём каждый $k$-й, и

каждый $k$-й	прогонов сети
$1$	$1000$
$10$	$100$
$20$	$50$
$50$	$20$

Почему это законно, если обратное ядро выводилось для соседних шагов? Потому что DDIM переформулирует процесс как детерминированный (probability-flow ОДУ из урока 030), а для ОДУ шаг не обязан быть малым по причине гауссовости — только по причине точности. Требование «$\beta$ мало, иначе обратное ядро негауссово» исчезает вместе с шумом.

Из этого следует практическое разделение, которое стоит держать в голове:

	обучение	сэмплирование
$t$	случайное	по сетке
число шагов	не важно	равно числу прогонов
расписание	задаёт распределение трудности	задаёт узлы сетки
можно ли поменять после обучения	нет	да

Последняя строка объясняет, почему одну и ту же обученную модель гоняют с двадцатью шагами и с двумя сотнями: сетка сэмплирования — свойство сэмплера, а не модели. Модель знает лишь функцию от $\bar\alpha$, и спросить её можно про любое значение.

Сдвиг расписания по разрешению

Тонкость, которая на практике важна и объясняется в одну строку. Изображение $1024\times1024$ при том же $\bar\alpha$ менее зашумлено, чем $64\times64$: соседние пиксели коррелированы, и усреднение по большему числу пикселей восстанавливает низкие частоты даже из сильного шума.

Значит расписание, настроенное на малом разрешении, при переносе на большое оказывается слишком мягким — модель никогда не видит по-настоящему разрушенных данных и на генерации не умеет строить крупную структуру. Отсюда приём «сдвига» расписания: при росте разрешения log-SNR сдвигают вниз, обычно на логарифм отношения сторон.

Итог

• Расписание — это функция $\bar\alpha(t)$, и сравнивать расписания нужно в log-SNR.
• Линейное тратит треть шагов на режим SNR $< 0.01$, косинусное — шесть процентов. В этом весь эффект, и он про распределение бюджета, а не про форму кривой.
• Число шагов при обучении и при сэмплировании — разные величины; вторая меняется после обучения.
• Пропуск шагов законен, потому что детерминированная формулировка снимает требование малого шага.
• При росте разрешения то же $\bar\alpha$ означает меньше разрушения, и расписание приходится сдвигать.