Адаптивные методы

Идея

Из урока 050: шаг задаётся максимальной кривизной, поэтому по плоским направлениям приходится ползти. Адаптивные методы дают каждой координате свой масштаб — то есть приближают диагональное предобусловливание, не считая гессиана.

$$x_{k+1} = x_k - \frac{\alpha}{\htmlData{k=scale}{\sqrt{\mathbb{E}[g^2]} + \varepsilon}} \odot g_k$$

Обратите внимание, что масштаб берётся из вторых моментов градиента, а не из кривизны. Это не одно и то же, и связь между ними эвристическая — что и объясняет, почему адаптивные методы работают хорошо, но без гарантий.

Три поколения

AdaGrad накапливает все квадраты градиентов: $s_k = s_{k-1} + g_k^2$, шаг $\alpha / \sqrt{s_k}$.

Проблема видна сразу: знаменатель только растёт, значит шаг только убывает. При постоянном $|g| = 1$:

шагов	накопитель	шаг при $\alpha = 0.1$
$1$	$1$	$0.1$
$100$	$100$	$0.01$
$10^4$	$10^4$	$0.001$

Шаг падает как $1/\sqrt{t}$ и в итоге останавливает обучение независимо от того, сошлось оно или нет. Для выпуклых задач это даже правильно (условия Роббинса–Монро), для глубоких сетей — фатально.

RMSProp заменяет сумму на экспоненциальное среднее: $v_k = \beta_2 v_{k-1} + (1-\beta_2) g_k^2$. Теперь знаменатель выходит на стационарный уровень:

шагов	$v$	шаг
$1$	$0.001$	$3.16$
$100$	$0.0952$	$0.324$
$10^4$	$0.99996$	$0.1$

Шаг больше не вырождается — он оседает на $\alpha$. Но посмотрите на первую строку: на старте шаг в тридцать раз больше заданного, потому что $v$ начинается с нуля и ещё не успел накопиться. Это и есть проблема, которую решает следующий метод.

Adam = RMSProp + момент + коррекция смещения.

$m_k = \beta_1 m_{k-1} + (1-\beta_1)g_k, \qquad v_k = \beta_2 v_{k-1} + (1-\beta_2)g_k^2$

$\hat{m}_k = \frac{m_k}{1 - \beta_1^k}, \qquad \hat{v}_k = \frac{v_k}{1 - \beta_2^k}, \qquad x_{k+1} = x_k - \frac{\alpha \hat{m}_k}{\sqrt{\hat{v}_k} + \varepsilon}$

Зачем коррекция смещения

Оба накопителя стартуют с нуля, поэтому в начале они систематически занижены. При постоянном единичном градиенте:

$k$	сырое $m_k$	доля от $g$	после коррекции
$1$	$0.1$	$10\%$	$1.0$
$2$	$0.19$	$19\%$	$1.0$
$5$	$0.41$	$41\%$	$1.0$

Делители $1 - \beta_1^k$ и $1 - \beta_2^k$ ровно компенсируют недобор. Результат проверяется точно: при постоянном градиенте шаг Adam равен $\alpha$ с первой же итерации и остаётся таким при $k = 100$. Без коррекции первые шаги были бы либо в десять раз меньше (по $m$), либо в тридцать раз больше (по $v$) — и они не компенсируют друг друга.

Что даёт масштабная инвариантность

Ключевое свойство: величина шага почти не зависит от масштаба градиента. Проверим, меняя градиент на пять порядков (при $\alpha = 0.001$, из нулевого состояния):

$g$	$\lvert\text{шаг}\rvert / \alpha$
$100$	$1.0000000$
$1$	$0.9999999$
$10^{-3}$	$0.9999900$
$10^{-7}$	$0.9090909$

Первые три строки — та самая инвариантность: умножьте лосс на тысячу, и Adam почти не заметит. Ради этого его и берут для задач с разномасштабными параметрами (эмбеддинги против bias’ов).

Последняя строка — предел, о котором редко говорят. При $g \sim \varepsilon$ слагаемое $\varepsilon = 10^{-8}$ перестаёт быть пренебрежимым, и инвариантность ломается: шаг падает на $9\%$. То есть $\varepsilon$ — не только «защита от деления на нуль», но и порог, ниже которого Adam ведёт себя как обычный SGD. На затухших градиентах это имеет значение.

AdamW: L2 внутри градиента — не то же самое

Тонкость, которая стоила сообществу нескольких лет плохих результатов.

подход	что делает
L2 в лоссе (Adam)	$g \leftarrow g + \lambda w$, затем всё делится на $\sqrt{\hat v}$
decoupled (AdamW)	$w \leftarrow w - \alpha \hat m / (\sqrt{\hat v} + \varepsilon) - \alpha\lambda w$

В первом случае штраф проходит через адаптивный знаменатель, значит его сила зависит от масштаба градиентов. Проверим на игрушечной задаче с $\lambda = 0.01$, меняя величину градиента лосса:

градиент лосса	Adam: $w$	AdamW: $w$
$1$	$-18.16$	$-17.32$
$0.01$	$-1.00$	$-17.32$
$100$	$-18.99$	$-17.32$

AdamW даёт один и тот же результат при любом масштабе, Adam — разный, причём при малом градиенте лосса штраф начинает доминировать и результат меняется на порядок.

Отсюда практический вывод: у Adam «weight decay» и «L2-регуляризация» — разные вещи, а у SGD они совпадают. Поэтому torch.optim.AdamW существует отдельно, и переносить $\lambda$ между SGD и Adam нельзя.

Когда адаптивность не помогает

Сравните Adam с моментом на двух ландшафтах виджета.

вытянуто по осямто же, но повёрнуто

спускмоментAdam

лосс, логарифмическая шкала

шаг α

0.1

итераций

120

f в конце

4.58e+13

обусловленность κ

100

порог 2/L

0.02

 

разошлось

Второй ландшафт — тот же спектр, тот же $\kappa$, повёрнутый на $45°$. Adam теряет почти всё преимущество, потому что диагональ не видит поворота. Это фундаментальное ограничение: адаптивные методы приближают гессиан диагональной матрицей, и когда кривизна «наклонена», приближение плохое.

Прочие известные ограничения:

• обобщение. SGD с моментом часто даёт лучший тест при том же обучающем лоссе, особенно в свёрточных сетях. Причина обсуждается до сих пор;
• сходимость не гарантирована. У исходного доказательства Adam нашли ошибку; существуют выпуклые задачи, где он не сходится (отсюда AMSGrad);
• память. Два накопителя на параметр — то есть в три раза больше состояния, чем у SGD. Для больших моделей это существенная часть бюджета памяти.

Практика сегодня примерно такая: трансформеры и языковые модели — AdamW почти всегда, свёрточные сети — часто SGD с моментом, и обе привычки имеют эмпирические, а не теоретические основания.