Максимально энтропийное RL

Изменить цель, а не алгоритм

До сих пор энтропия появлялась как бонус, добавляемый вручную, чтобы политика не схлопывалась. Максимально энтропийное RL делает её частью постановки:

$$J(\pi) = \mathbb{E}\Big[\sum_t \htmlData{k=reward}{r_t} + \htmlData{k=temp}{\beta}\,\htmlData{k=entropy}{\mathcal{H}\big(\pi(\cdot\mid s_t)\big)}\Big]$$

Температура $\beta$ — обменный курс: сколько награды мы готовы отдать за один нат энтропии. Это не гиперпараметр оптимизатора, а часть определения задачи, ровно как $\gamma$ в уроке 010.

Зачем это нужно:

причина	что даёт
исследование	политика не схлопывается на одном действии
устойчивость	при равноценных действиях сохраняются оба
робастность	политика готова к небольшим изменениям среды
гладкость задачи	оптимум единственный и меняется непрерывно по параметрам

Последняя строка недооценена. Без энтропии оптимальная политика детерминирована и меняется скачком, когда два действия меняются местами по ценности. С энтропией она меняется плавно, и оптимизация становится куда лучше себя ведущей.

Решение в замкнутой форме

Для одного состояния задача решается точно. Максимизировать $\mathbb{E}_\pi[Q] + \beta\mathcal{H}(\pi)$ при условии нормировки — это задача на условный экстремум (блок 5, урок 110), и ответ:

$\pi^*(a) = \frac{\exp\big(Q(a)/\beta\big)}{\sum_{a'}\exp\big(Q(a')/\beta\big)}$

Оптимальная политика — softmax по ценностям с температурой $\beta$. Не приближение, не эвристика — точное решение задачи с энтропийным членом.

Отсюда сразу видны пределы:

$\beta$	политика
$\to 0$	жадная, детерминированная
$= 1$	softmax по $Q$
$\to \infty$	равномерная

И значение оптимума тоже известно: $V^*(s) = \beta \log\sum_a \exp(Q(a)/\beta)$ — «мягкий максимум» вместо обычного. Отсюда и название soft actor-critic: в уравнении Беллмана $\max$ заменяется на logsumexp.

Обобщение: тяга к опорной политике

Заменим энтропию на расхождение с некоторой опорной политикой $\pi_{\text{ref}}$:

$J(\pi) = \mathbb{E}_\pi[r] - \beta\,\mathrm{KL}\big(\pi \,\|\, \pi_{\text{ref}}\big)$

При равномерной $\pi_{\text{ref}}$ это в точности предыдущая задача (с точностью до константы). В общем случае решение такое же по форме:

$\pi^*(a) \propto \pi_{\text{ref}}(a)\,\exp\big(r(a)/\beta\big)$

То есть опорная политика перевзвешивается экспонентой награды. Не заменяется — перевзвешивается, и это существенно: действия, которым $\pi_{\text{ref}}$ приписывала нулевую вероятность, останутся нулевыми при любой награде.

Проверьте оба предела и тождество с логарифмом нормировки.

действие вероятность

опорная π_ref оптимум π*

температура β

1

ожидаемая награда

1.3755

KL(π*‖π_ref)

0.2322

значение цели

1.1433

β·log Z

1.1433

Тождество, на которое стоит обратить внимание: значение оптимума равно $\beta \log Z$, где $Z = \sum_a \pi_{\text{ref}}(a)e^{r(a)/\beta}$. Виджет считает его двумя независимыми способами — по определению цели и через нормировку — и они совпадают при любом $\beta$. Урок 140 обратит это равенство и получит из него DPO.

Почему это в блоке про выравнивание

Формула $\pi^* \propto \pi_{\text{ref}}e^{r/\beta}$ и есть цель RLHF (урок 130). Смысл там читается буквально: взять предобученную модель и перевзвесить её тем, что нравится людям, не позволяя уходить далеко.

Стоит заметить, что выбор именно KL, а не другого расхождения, здесь не случаен и не эстетичен: с KL задача имеет решение в замкнутой форме. С любым другим расхождением её пришлось бы решать численно, и вся конструкция DPO не появилась бы.

Итог

• Энтропия в цели — часть постановки, а не бонус; $\beta$ задаёт обменный курс.
• Оптимум — softmax по ценностям с температурой $\beta$; это точное решение.
• $\max$ в уравнении Беллмана заменяется на logsumexp — отсюда «soft».
• Обобщение с опорной политикой даёт $\pi^* \propto \pi_{\text{ref}}e^{r/\beta}$: перевзвешивание, а не замена.
• Значение оптимума равно $\beta\log Z$, и это тождество лежит в основе DPO.