Нормализация как предобусловливание

Одна арифметика, разные оси

Все нормализующие слои делают одно и то же:

$$\hat{x} = \frac{\htmlData{k=centre}{x - \mu}}{\htmlData{k=scale}{\sqrt{\sigma^2 + \varepsilon}}}, \qquad y = \htmlData{k=affine}{\gamma \hat{x} + \beta}$$

Различаются они только тем, по каким осям берутся $\mu$ и $\sigma$. Записанные формулами, они выглядят почти одинаково и потому не запоминаются; нарисованные как разбиение решётки — различаются сразу.

без нормировкиBatchNormLayerNormRMSNormGroupNorm

нормированные значения

batch ↓

признаки →

1.00	2.00	3.00	10.00
2.00	4.00	1.00	8.00
3.00	1.00	5.00	12.00
0.00	3.00	2.00	9.00

усреднение по

—

групп

16

Переключите на RMSNorm и посмотрите на цифры внимательно: среднеквадратичное по строке равно единице, а среднее — нет (около $0.75$ на этих данных). Это и есть вся разница между LayerNorm и RMSNorm, и именно поэтому RMSNorm дешевле: не нужно считать среднее и не нужно протаскивать его через обратный проход.

Почему это относится к оптимизации

Название урока — не метафора. Нормализация меняет обусловленность задачи, и это её главный эффект.

Простейший случай — стандартизация входов из урока 050. Признаки с масштабами $1$ и $10^4$ дают $\kappa \approx 10^8$; после нормировки $\kappa$ падает до десятков. Нормализующие слои делают то же самое, но внутри сети, где вручную не достать: активации середины сети никто не стандартизует заранее, а их масштабы разъезжаются по ходу обучения.

Три конкретных механизма:

• выравнивание масштабов активаций → выравнивание кривизны по параметрам → меньшее $\kappa$;
• сглаживание ландшафта. Работа Santurkar и др. измерила это прямо: с BatchNorm ландшафт лосса вдоль направления шага заметно менее «изломан», то есть эффективная $L$ меньше и допустимый шаг больше;
• инвариантность к масштабу весов. Умножьте веса слоя перед нормировкой на $c$ — выход не изменится вовсе, потому что нормировка поделит на то же $c$. Значит, направление весов важно, а их длина — нет.

Третий пункт имеет неожиданное следствие. Раз масштаб весов не влияет на выход, а weight decay всё равно уменьшает норму, то decay в нормализованной сети работает не как регуляризатор в обычном смысле: он управляет эффективным learning rate. Норма весов уменьшается → градиент относительно нормы растёт → эффективный шаг растёт. Это одна из причин, по которой weight decay и learning rate в таких сетях не независимы.

Historical note: не covariate shift

Изначальное объяснение BatchNorm — «уменьшает internal covariate shift» — не подтвердилось. Santurkar и др. показали это экспериментом: если после BatchNorm специально добавить шум, восстановив сдвиг распределений, обучение всё равно остаётся быстрым. Значит, дело не в сдвиге.

Стоит держать это в голове как пример: приём работает, а объяснение, с которым он был предложен, оказалось неверным. Работающая практика — не доказательство теории, стоящей за ней.

Что выбирают и почему

слой	усреднение по	зависит от батча	где применяют
BatchNorm	оси batch	да	свёрточные сети, большие батчи
LayerNorm	признакам	нет	трансформеры
RMSNorm	признакам, без центрирования	нет	современные LLM
GroupNorm	группе признаков	нет	детекция, малые батчи

Столбец «зависит от батча» — решающий. BatchNorm вносит связь между примерами: результат для одного зависит от того, кто ещё попал в батч. Отсюда все его практические сложности:

• на инференсе батча нет, приходится хранить running statistics — и режимы обучения и вывода становятся разными, что регулярно даёт баги (забытый model.eval());
• при малом батче оценки $\mu$ и $\sigma$ шумны, и качество падает;
• в рекуррентных сетях и при переменной длине последовательности осмысленной оси batch просто нет.

LayerNorm ничего этого не имеет, потому что считает статистику внутри одного примера. Именно поэтому трансформеры используют его, а не BatchNorm, — и это выбор про воспроизводимость и независимость примеров, а не про качество нормировки.

Pre-norm против post-norm

Последняя деталь, важная для глубоких сетей. Нормировку можно поставить до блока или после:

$\underbrace{x + \text{Attn}(\text{LN}(x))}_{\text{pre-norm}} \qquad\text{против}\qquad \underbrace{\text{LN}(x + \text{Attn}(x))}_{\text{post-norm}}$

У pre-norm остаётся чистый residual-путь от входа к выходу, по которому градиент проходит без прохода через нормировку. Это делает глубокие стеки обучаемыми без warmup и с меньшей аккуратностью в подборе шага. Post-norm даёт немного лучшее качество при удачной настройке, но заметно капризнее на большой глубине — поэтому современные модели почти все pre-norm.