DPO

Вывод в три строки

Из урока 120 известно решение KL-регуляризованной задачи:

$\pi^*(y\mid x) = \frac{1}{Z(x)}\,\pi_{\text{ref}}(y\mid x)\,e^{r(x,y)/\beta}$

Обычно это читают слева направо: есть награда — вот политика. Прочитаем справа налево и выразим награду:

$$r(x,y) = \htmlData{k=implicit}{\beta \log\frac{\pi^*(y\mid x)}{\pi_{\text{ref}}(y\mid x)}} + \htmlData{k=z}{\beta\log Z(x)}$$

Теперь подставим это в модель Брэдли–Терри из урока 130. Там стоит разность наград двух ответов на один и тот же запрос — и нормировка $\beta\log Z(x)$, одинаковая для обоих, сокращается.

$P(y_w \succ y_l) = \sigma\left(\beta\log\frac{\pi(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)} - \beta\log\frac{\pi(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\right)$

Максимизируем правдоподобие — получаем функцию потерь DPO:

$\mathcal{L} = -\log\sigma\left(\beta\log\frac{\pi(y_w)}{\pi_{\text{ref}}(y_w)} - \beta\log\frac{\pi(y_l)}{\pi_{\text{ref}}(y_l)}\right)$

Всё. Ни модели награды, ни RL, ни генерации в цикле обучения — обычная классификация пар.

Что исчезло и почему

Стоит проследить, куда делся каждый кусок конвейера.

компонент RLHF	что с ним стало
модель награды	стала неявной — это $\beta\log(\pi/\pi_{\text{ref}})$
нормировка $Z(x)$	сократилась в разности
PPO со всеми деталями	не нужен
генерация в цикле	не нужна: данные фиксированы
опорная модель	осталась — нужна для отношения

Второе — ключевое место вывода. $Z(x) = \sum_y \pi_{\text{ref}}(y)e^{r(x,y)/\beta}$ — сумма по всем возможным ответам, невычислимая в принципе. Она исчезает не потому, что мы её оценили, а потому, что модель предпочтений смотрит на разность.

Тот же приём встречался в блоке 3 (score не зависит от нормировки) и в ветке A (урок 040). Приём один: работать с разностями или градиентами логарифма, где неизвестная константа не выживает.

Сравнение

	RLHF	DPO
моделей при обучении	3 (политика, награда, опорная)	2 (политика, опорная)
генерация в цикле	нужна	нет
данные	можно собирать по ходу	фиксированный набор
настройка	много (PPO)	мало ($\beta$)
оптимизирует	выученную награду	предпочтения напрямую

Четвёртая строка — не только преимущество. Фиксированный набор означает, что DPO работает off-policy на данных, собранных чужой политикой, со всеми последствиями урока 090. RLHF может собирать свежие сравнения на текущей политике; DPO — нет, если только не запускать её итеративно.

Чего DPO не решает

Стоит быть точным, потому что вывод элегантен и от этого возникает завышенное ожидание.

Смещения разметки остаются. DPO обучается на тех же сравнениях. Если разметчики предпочитают длинные ответы, DPO выучит длину — не хуже и не лучше, чем RLHF.

Overoptimisation остаётся, в другой форме. У неявной награды нет отдельной модели, которую можно переоптимизировать, но давление на разность логарифмов есть, и оно может уводить модель в области с малой вероятностью у $\pi_{\text{ref}}$.

Предположение Брэдли–Терри остаётся. Оно постулирует, что предпочтения порождены скалярной латентной наградой и транзитивны. Реальные предпочтения людей нетранзитивны, и разбор Azar и др. показывает, где это вредит.

Появляется своя проблема. Функция потерь снижается и тогда, когда вероятность обоих ответов падает — важна лишь разность. На практике наблюдают, что $\pi(y_w)$ уменьшается вместе с $\pi(y_l)$, просто медленнее. Отсюда варианты вроде IPO и добавление SFT-члена.

ответ вероятность

опорная модель цель обучения

коэффициент β

0.5

средняя награда

0.8252

KL от опорной

0.3546

значение цели

0.6479

β·log Z

0.6479

Итог

• DPO получается обращением формулы оптимума и подстановкой в Брэдли–Терри.
• Невычислимая нормировка $Z(x)$ сокращается в разности — тот же приём, что со score в ветке A.
• Остаются две модели вместо трёх, обучение становится обычной классификацией пар.
• Не решаются: смещения разметки, предположение Брэдли–Терри, давление на маловероятные области.
• Появляется своя проблема: потери падают и при снижении вероятности обоих ответов.