Доверительная область

Не тот масштаб

Обычный градиентный шаг ограничивает изменение параметров: $\|\Delta\theta\| \le \epsilon$. Но нас интересует изменение политики, а связь между ними произвольна. Одинаковый сдвиг весов может почти ничего не изменить в одном месте и полностью переписать поведение в другом.

Проверим на softmax. Один и тот же сдвиг логита на $0.1$ при разных исходных логитах:

логиты	вероятность до	после	KL
$(0, 0)$	$0.5000$	$0.5250$	$1.25\cdot10^{-3}$
$(0.05, 0)$	$0.5125$	$0.5374$	$1.25\cdot10^{-3}$
$(10, 0)$	$0.99996$	$0.99996$	$2.2\cdot10^{-7}$

Норма шага в параметрах одинакова, а расхождение политик различается в пять с половиной тысяч раз. Ограничивать $\|\Delta\theta\|$ значит ограничивать не ту величину: в третьей строке шаг можно было бы сделать вдесятеро больше без всяких последствий, а в первой — нельзя.

Отсюда идея: мерить шаг в пространстве распределений, и естественная мера там — KL.

$$\max_\theta\ \htmlData{k=surrogate}{\mathbb{E}\Big[\frac{\pi_\theta(a\mid s)}{\pi_{\text{old}}(a\mid s)}A(s,a)\Big]} \quad\text{при}\quad \htmlData{k=constraint}{\mathbb{E}\big[\mathrm{KL}(\pi_{\text{old}} \,\|\, \pi_\theta)\big] \le \delta}$$

Почему ограничение обязано быть

Суррогатная цель — это off-policy оценка из урока 090, и она верна лишь локально. Точная связь такова: настоящее улучшение отличается от суррогатного не более чем на величину, растущую с расхождением политик,

$J(\pi_{\text{new}}) \ge \underbrace{J(\pi_{\text{old}}) + L(\pi_{\text{new}})}_{\text{суррогат}} - C\cdot \max_s \mathrm{KL}\big(\pi_{\text{old}}\|\pi_{\text{new}}\big)$

То есть суррогат — нижняя граница истинного улучшения минус штраф за расхождение. Пока расхождение мало, максимизация суррогата гарантирует монотонное улучшение; когда велико — гарантия исчезает, и оптимизатор с удовольствием уйдёт туда, где оценка ничего не стоит.

Это и есть аккуратная формулировка того, что урок 090 показал измерением: при расхождении политик эффективный размер выборки падает, и данные перестают говорить о новой политике хоть что-то.

Как это решают

Задача с ограничением решается приближённо:

шаг	что делает
линеаризовать цель	градиент $g$ суррогата
квадратично приблизить ограничение	$\mathrm{KL} \approx \frac12 \Delta\theta^\top F \Delta\theta$
решить	$\Delta\theta \propto F^{-1} g$
подобрать длину	линейный поиск с проверкой ограничения

Матрица $F$ — информация Фишера (блок 5, урок 120), и шаг $F^{-1}g$ — это естественный градиент. Смысл: двигаться по кратчайшему пути в геометрии распределений, а не параметров.

Обращать $F$ явно нельзя — она размера «параметры × параметры». Используют сопряжённые градиенты с произведениями «матрица на вектор», которые считаются автоматическим дифференцированием без построения самой матрицы. Это работает, но сложно, и именно поэтому появился PPO.

Три способа ограничить шаг

отношение π/π_old целевая функция

без ограничения обрезка штраф KL

отношение r

1.1

ширина ε

0.2

преимущество A

1

штраф β

1

значение

1.1

производная

1

диапазон обрезки

0.8–1.2

подход	как ограничивает	цена
жёсткое ограничение (TRPO)	KL $\le \delta$ явно	сопряжённые градиенты, линейный поиск
штраф (KL penalty)	вычитает $\beta\,\mathrm{KL}$	подбор $\beta$, дрейф в ходе обучения
обрезка (PPO)	обнуляет градиент за границей	эвристика без гарантий

Третья строка честно говорит, чем PPO платит: обрезка не гарантирует ограничения на KL, она лишь убирает стимул уходить далеко. Иногда шаг всё равно оказывается большим — например если несколько эпох подряд идут по одним и тем же данным. Тем не менее именно PPO вытеснил TRPO, и следующий урок про то, почему.

Итог

• Ограничивать нужно изменение политики, а не параметров: связь между ними произвольна.
• Суррогатная цель — нижняя граница улучшения минус штраф за расхождение; вне доверительной области гарантия исчезает.
• Естественный градиент $F^{-1}g$ — это шаг в геометрии распределений.
• Три реализации ограничения: жёсткое, штраф, обрезка — с убыванием строгости и сложности.