Инициализация и residual

Одна рекурсия, из которой всё следует

Инициализацию обычно запоминают как таблицу формул. На самом деле есть одно утверждение, а формулы — это его решения относительно $\operatorname{Var}(w)$.

$$\operatorname{Var}(y) = \htmlData{k=fan}{n_{\text{in}}} \cdot \htmlData{k=varw}{\operatorname{Var}(w)} \cdot \htmlData{k=varx}{\operatorname{Var}(x)}$$

Это прямое следствие блока 3, урок 060: $y_j = \sum_i w_{ji} x_i$, слагаемые независимы и центрированы, дисперсии складываются, а дисперсия произведения независимых центрированных величин равна произведению дисперсий. Ключевая величина здесь — $n_{\text{in}}$, число входов слоя: дисперсия растёт с ним линейно. Проверено численно при $\operatorname{Var}(w) = \operatorname{Var}(x) = 1$:

$n_{\text{in}}$	измеренная $\operatorname{Var}(y)$	предсказанная
$16$	$15.84$	$16$
$256$	$260.8$	$256$
$1024$	$1027$	$1024$

Введём коэффициент усиления слоя

$g = n_{\text{in}} \operatorname{Var}(w)$

тогда $\operatorname{Var}(x_{L}) = g^{L}$ при единичной дисперсии на входе. Всё остальное в этом уроке — про то, что бывает при $g \ne 1$.

Xavier и He — это решения уравнения $g = 1$

Требование одно: $g = 1$. Отсюда сразу $\operatorname{Var}(w) = 1/n_{\text{in}}$, то есть $\sigma_w = 1/\sqrt{n_{\text{in}}}$ — это и есть Xavier, и формулу не нужно запоминать, её можно вывести за строчку.

Дальше поправка на нелинейность. ReLU обнуляет половину симметричного распределения, поэтому

$\mathbb{E}[\text{relu}(x)^2] = \tfrac12\mathbb{E}[x^2]$

— второй момент делится на два. Проверено: при $x \sim \mathcal{N}(0,1)$ измеренное $\mathbb{E}[\text{relu}(x)^2] = 0.4997$ против теоретических $0.5$. Значит с ReLU усиление равно $g = \frac12 n_{\text{in}} \operatorname{Var}(w)$, и уравнение $g = 1$ даёт

$\operatorname{Var}(w) = \frac{2}{n_{\text{in}}}, \qquad \sigma_w = \sqrt{\frac{2}{n_{\text{in}}}}$

это He. Вся разница между двумя схемами — та самая двойка от ReLU, и больше ничего.

Отдельно стоит заметить: ReLU делит на два второй момент, но не дисперсию. Среднее $\text{relu}(x)$ равно $1/\sqrt{2\pi} = 0.3989$ (измерено $0.3987$), поэтому $\operatorname{Var}(\text{relu}(x)) = \frac12 - \frac{1}{2\pi} = 0.3408$, а не $0.5$. Формулы инициализации выведены для второго момента — то есть предполагают центрированность, которой после ReLU уже нет. Это одна из причин, по которой в сети с нормализацией точность формулы перестаёт быть критичной.

Что бывает при $g \ne 1$

Поставьте $n_{\text{in}} = 256$, включите ReLU и пройдитесь по схемам. Смотрите на два числа: усиление и итоговый масштаб.

σ = 0.01σ = 1XavierHeHe ÷ √(2L)

слой ст. откл. активаций

глубина L

24

ширина n

256

ReLU residual

σ веса

0.01

усиление g

0.013

итоговое ст. откл.

1.93e-23

Сигнал исчез: к последнему слою от него не осталось ничего, и градиент назад не пройдёт.

Три наблюдения, которые стоит проверить в виджете руками:

1. Ошибка в усилении накапливается геометрически. Отклонение $g$ на десять процентов выглядит безобидным, но $1.1^{100} = 1.4 \cdot 10^{4}$, а $0.9^{100} = 2.7 \cdot 10^{-5}$. Глубина превращает малую погрешность в катастрофу.
2. Xavier с ReLU — не «чуть хуже», а сломано на глубине. $g = 0.5$ означает деление масштаба на $\sqrt{2}$ каждый слой: через сорок восемь слоёв остаётся $3.6\cdot10^{-15}$.
3. Тот же множитель действует и назад. Обратный проход умножает на $n_{\text{out}} \operatorname{Var}(w)$, поэтому при $g \ne 1$ вместе с активациями исчезает или расходится и градиент. Отсюда и требование «$g = 1$ в обе стороны», из-за которого в Xavier иногда берут $\frac{2}{n_{\text{in}} + n_{\text{out}}}$ — компромисс между двумя условиями, которые одновременно выполнимы только при $n_{\text{in}} = n_{\text{out}}$.

Residual меняет умножение на сложение

Вот в чём главное. Без residual глубина входит в показатель:

$\operatorname{Var}(x_L) = g^L$

С residual-связью и pre-norm ветвь читает нормированную копию потока, поэтому её вклад равен $g$ независимо от того, что в потоке уже накопилось:

$\operatorname{Var}(x_L) = 1 + L g$

Глубина переехала из показателя в множитель. Это и есть причина, по которой residual-сети обучаются на глубинах, где обычный стек не обучается вовсе, — не «градиент течёт лучше» в переносном смысле, а буквально другая асимптотика.

$L$	$g^L$ при $g = 1.1$	$1 + Lg$ при $g = 1$
$10$	$2.6$	$11$
$50$	$117$	$51$
$100$	$1.4 \cdot 10^{4}$	$101$

Обратите внимание, что при $g = 1.1$ и $L = 10$ обычный стек ведёт себя лучше. Разница появляется на глубине, и растёт она не постепенно, а экспоненциально.

Остаточный рост никуда не делся: стандартное отклонение потока растёт как $\sqrt{1 + L}$ — $5.0$ при $L = 24$, $9.85$ при $L = 96$. Это уже не проблема выживания сигнала, а проблема масштаба: последний слой видит вход в десять раз крупнее, чем первый.

Множитель $1/\sqrt{2L}$

Отсюда — приём, который выглядит произвольным, а на самом деле решает уравнение. Пусть в сети $2L$ residual-ветвей (внимание и MLP в каждом из $L$ блоков), и веса выходной проекции каждой ветви поделены на $\sqrt{2L}$. Тогда вклад одной ветви равен $g/(2L)$, и

$\operatorname{Var}(x_{\text{выход}}) = 1 + 2L \cdot \frac{1}{2L} = 2$

при любой глубине. Проверьте: $L = 6$, $24$, $96$ — везде ровно двойка. Именно так сделано в GPT-2 и почти во всём, что после него, и теперь понятно, почему в знаменателе стоит число ветвей, а не число слоёв и не что-то ещё.

В виджете это последняя схема. В обычном стеке она даёт затухание — множитель осмыслен только там, где вклады складываются.

Что стоит запомнить

• Инициализация — не таблица формул, а уравнение $g = 1$; Xavier и He суть два его решения, отличающиеся двойкой от ReLU.
• В сети с нормализацией точность инициализации менее критична: нормировка возвращает масштаб к единице после каждого слоя. Но первый прямой проход происходит до первого обновления, и стартовать с $10^{25}$ всё равно нельзя.
• Residual важен не тем, что «добавляет путь», а тем, что переводит глубину из показателя степени в множитель. Всё остальное — следствия.