Теорема о градиенте политики

Другой подход

До сих пор политика получалась как побочный продукт: выучили ценности, взяли жадное действие. Можно иначе — параметризовать политику $\pi_\theta$ и оптимизировать её напрямую градиентным подъёмом.

Зачем, если работает первое:

	через ценности	напрямую
непрерывные действия	$\arg\max_a Q$ — отдельная задача	естественно
стохастическая политика	нужен костыль	естественно
гарантии на табличных задачах	сильные	слабее
устойчивость при аппроксимации	«смертельная триада»	лучше

Первые две строки — практические причины, по которым в робототехнике и в языковых моделях используют именно градиент политики.

Трудность и её решение

Максимизируем $J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}[R(\tau)]$. Проблема сразу: параметры стоят в распределении, по которому берётся ожидание, а не в функции под ним. Обычное дифференцирование под знаком интеграла не проходит.

Решает это тождество, известное как score-function trick — то же самое, что в блоке 3:

$$\nabla_\theta p_\theta(x) = p_\theta(x)\, \htmlData{k=trick}{\nabla_\theta \log p_\theta(x)}$$

Это просто производная логарифма, переписанная в другую сторону. Но эффект в том, что после подстановки градиент снова становится ожиданием по тому же распределению — а ожидание можно оценить выборкой.

$\nabla_\theta J = \mathbb{E}_{\tau}\big[R(\tau)\,\nabla_\theta \log p_\theta(\tau)\big]$

Что сокращается в траектории

Вероятность траектории — произведение динамики среды и политики:

$p_\theta(\tau) = p(s_0)\prod_t P(s_{t+1}\mid s_t, a_t)\, \pi_\theta(a_t\mid s_t)$

Берём логарифм — произведение превращается в сумму. Берём градиент по $\theta$ — все слагаемые с динамикой исчезают, потому что от $\theta$ не зависят:

$\nabla_\theta\log p_\theta(\tau) = \sum_t \nabla_\theta \log\pi_\theta(a_t\mid s_t)$

Вот главный результат урока. В формуле градиента не осталось ни $P$, ни $p(s_0)$ — только логарифмы вероятностей собственных действий. Модель среды не нужна не потому, что мы её оценили, а потому, что она сократилась.

Собирая всё, получаем теорему о градиенте политики:

$$\nabla_\theta J = \mathbb{E}\Big[\sum_t \htmlData{k=weight}{G_t}\, \htmlData{k=direction}{\nabla_\theta \log \pi_\theta(a_t\mid s_t)}\Big]$$

Читается она буквально: направление увеличивает вероятность сделанного действия, а вес говорит, насколько сильно — и с каким знаком. Хорошее действие становится вероятнее, плохое реже.

Что при этом не нужно

Стоит перечислить, потому что список длиннее ожидаемого:

• модель среды — сократилась;
• дифференцируемость среды — награда входит множителем, через неё не дифференцируем;
• дифференцируемость награды — она может быть хоть двоичной, хоть выданной человеком;
• знание функции ценности — достаточно наблюдённого возврата.

Третий пункт — тот, из-за которого метод применим к выравниванию языковых моделей (уроки 130–140): «человеку понравился ответ» не является дифференцируемой функцией параметров, и это неважно.

Ограничение: дисперсия

Цена за общность — огромная дисперсия оценки. Множитель $G_t$ — сумма случайных наград всего эпизода, и она умножается на градиент. Посмотрите на readout «дисперсия градиента» в виджете, пока базовая линия выключена.

базовая линия

рука вероятность

скорость обучения

0.1

шагов

200

ожидаемая награда

1.959

дисперсия градиента

0.0315

смещение оценки

2.6e-3

базовая линия

0

Урок 070 занимается ровно этим числом.

Итог

• Параметры стоят в распределении, и score-function trick возвращает градиент в форму ожидания.
• В логарифме траектории динамика среды сокращается — модель не нужна по построению.
• Награда входит множителем, поэтому её дифференцируемость не требуется.
• Формула читается как «сделать хорошее вероятнее», и это буквально то, что она делает.
• Плата — дисперсия, и следующий урок про то, как её уменьшать.