Нормализация в сети

Повтор: одна арифметика, разные оси

В блоке 5 (урок 100) нормализация разбиралась как предобусловливание — средство против плохой обусловленности. Здесь тот же объект нужен с другой стороны: как элемент архитектуры, у которого есть выбор оси и выбор места.

$$\hat{x} = \frac{x - \mu_{\htmlData{k=axis}{A}}}{\sqrt{\sigma^2_{\htmlData{k=axis}{A}} + \varepsilon}}, \qquad y = \gamma\hat{x} + \beta$$

Набор осей $A$ — это всё, что отличает BatchNorm от LayerNorm от RMSNorm. Проверьте по цифрам: в каждом режиме выделенная группа имеет среднее нуль и дисперсию единицу, а соседняя ячейка из другой группы — нет.

без нормировкиBatchNormLayerNormRMSNormGroupNorm

нормированные значения

batch ↓

признаки →

1.00	2.00	3.00	10.00
2.00	4.00	1.00	8.00
3.00	1.00	5.00	12.00
0.00	3.00	2.00	9.00

усреднение по

—

групп

16

Почему трансформеры выбрали LayerNorm

Решающий признак — зависимость от батча, а не качество нормировки.

	BatchNorm	LayerNorm
статистика по	батчу	признакам примера
примеры связаны	да	нет
нужны running statistics	да	нет
train ≠ eval	да	нет
переменная длина	проблема	не проблема
батч из одного примера	ломается	работает

Последние две строки решают дело для текста. Последовательности разной длины и батчи размера один при генерации — обычное дело, а у BatchNorm в этих условиях нет осмысленной оси для усреднения.

Плюс model.eval(): у BatchNorm обучение и вывод — разные функции, и забытый вызов даёт тихую деградацию. У LayerNorm такого различия нет вовсе, потому что ей нечего запоминать.

RMSNorm: что даёт отказ от центрирования

$\text{RMSNorm}(x) = \frac{x}{\sqrt{\frac1n\sum_i x_i^2 + \varepsilon}} \cdot \gamma$

Отличие от LayerNorm в одном вычитании. Экономия — один проход по тензору вперёд и один назад, плюс отсутствие $\beta$.

Из блока 5 известен точный ответ на вопрос, когда это безопасно: на центрированных данных два слоя дают побитово одинаковый результат, потому что при $\mu = 0$ дисперсия равна среднему квадрату. Активации в обученной сети обычно близки к центрированным, поэтому замена проходит почти бесплатно — и современные модели (LLaMA, Mistral, Gemma) используют RMSNorm.

На нецентрированных данных разница реальна: для строки $[1,2,3,10]$ LayerNorm даёт среднее нуль, RMSNorm оставляет $0.749$. Но последующий $\gamma$ подстраивается под то представление, которое ему дали, и качество от этого не страдает.

Pre-norm против post-norm

Второй архитектурный выбор, и он важнее первого.

$\underbrace{x + \text{Sublayer}(\text{LN}(x))}_{\text{pre-norm}} \qquad\text{против}\qquad \underbrace{\text{LN}\big(x + \text{Sublayer}(x)\big)}_{\text{post-norm}}$

Разница в том, проходит ли residual-путь через нормировку.

	pre-norm	post-norm
чистый путь от входа к выходу	есть	нет
нужен warmup	обычно нет	почти всегда
устойчивость на большой глубине	высокая	падает
качество при удачной настройке	чуть ниже	чуть выше

У pre-norm градиент может дойти от выхода до входа, ни разу не пройдя через нормировку, — поэтому глубокие стеки обучаются без тщательного подбора расписания. У post-norm каждый residual-путь проходит через LN, и на большой глубине это накапливается.

Практический итог: почти все современные модели — pre-norm, и цена этого выбора известна (немного худшее качество при идеальной настройке), но настройка при глубине сто слоёв идеальной не бывает.

Что нормализация делает с масштабом весов

Свойство, из которого растёт неожиданное следствие. Если слой предшествует нормировке, то умножение его весов на $c$ не меняет выход — нормировка поделит на то же $c$.

Значит:

• выразительность слоя не зависит от нормы его весов, только от направления;
• weight decay в такой сети не уменьшает «сложность» — он управляет эффективным learning rate, потому что меньшая норма означает больший относительный шаг;
• learning rate и weight decay перестают быть независимыми гиперпараметрами.

Это тот же вывод, что в блоке 5, урок 100, и он остаётся одним из самых недооценённых следствий нормализации.