Позиционные кодировки

Почему без них нельзя

Из урока 070: формула внимания не содержит индексов позиций вовсе. Отсюда точное утверждение.

$$\text{Attn}(\htmlData{k=perm}{P}X) = \htmlData{k=perm}{P}\,\text{Attn}(X)$$

Доказывается в одну строку: перестановка строк $X$ переставляет строки $Q$, $K$, $V$, значит матрица оценок превращается в $PSP^\top$, softmax по строкам это переносит, и результат — переставленные строки исходного. Другими словами, для внимания «кот сел на коврик» и «коврик на сел кот» — одно и то же множество токенов.

Это не недоработка, а свойство операции, и его нужно чем-то исправлять извне. Требования к исправлению:

требование	почему
различать позиции	иначе порядок не восстановим
работать на любой длине	обучались на 2048, работаем на 8192
ограниченность	кодировка не должна перебивать содержание
убывание влияния с расстоянием	локальный контекст важнее далёкого

Синусоидальная кодировка

Исходное решение: вектор той же ширины, что и вход, прибавляемый к эмбеддингу.

$\text{PE}(p)_{2i} = \sin\!\left(\frac{p}{\beta^{2i/d}}\right), \qquad \text{PE}(p)_{2i+1} = \cos\!\left(\frac{p}{\beta^{2i/d}}\right)$

с $\beta = 10^4$. Частоты образуют геометрическую прогрессию, поэтому длины волн покрывают несколько порядков сразу:

пара $i$ (при $d = 64$)	$\omega$	длина волны
$0$	$1$	$6.28$
$8$	$0.1$	$62.8$
$16$	$0.01$	$628$
$31$	$1.3\cdot10^{-4}$	$47\,117$

Быстрые пары различают соседей, медленные — далёкие области. Это и есть ответ на «различать позиции на любой длине»: пока хотя бы одна пара не сделала полный оборот, позиции ещё различимы.

Половина правды про относительность

Обычно говорят: «синусоиды кодируют относительную позицию, потому что $\text{PE}(i) \cdot \text{PE}(j)$ зависит только от $i - j$». Первая часть — вывод, вторая — факт, и факт верен:

$\text{PE}(i)\cdot\text{PE}(j) = \sum_{k} \big[\sin(\omega_k i)\sin(\omega_k j) + \cos(\omega_k i)\cos(\omega_k j)\big] = \sum_k \cos\big(\omega_k (i-j)\big)$

по теореме сложения косинуса (блок 1, урок 100). Проверено численно при $d = 64$: при смещении $1$ произведение равно $30.9168$ из позиции $0$ и $30.9168$ из позиции $17$, расхождение $1.4\cdot10^{-14}$.

А вывод при этом неверен, и вот почему. Внимание считает не $\text{PE}(i)\cdot\text{PE}(j)$, а произведение сумм:

$(x_i + \text{PE}(i))^\top(x_j + \text{PE}(j)) = \underbrace{x_i^\top x_j}_{\text{содержание}} + \underbrace{x_i^\top \text{PE}(j) + \text{PE}(i)^\top x_j}_{\text{перекрёстные}} + \underbrace{\text{PE}(i)^\top \text{PE}(j)}_{\text{только смещение}}$

Относительно только последнее слагаемое. Два перекрёстных зависят от абсолютных позиций, и они не малы. Посмотрите на readout «разброс по якорям»: это максимальная разница оценок при одинаковом смещении, взятая по трём разным абсолютным позициям.

без кодировкисинусоидальнаяобучаемаяRoPE

смещение j − i оценка

позиция 0позиция 8позиция 24

размер головы d

64

смещений

32

размах оценок

0

разброс по якорям

0.0e+0

норма q после

1

Разброс по якорям равен машинному нулю: схема относительна не приблизительно, а тождественно.

Числа из одного прогона при $d = 64$ и трёх якорях $0$, $8$, $24$:

схема	размах оценок	разброс по якорям	норма $q$
без кодировки	$0$	$0$	$1.000$
синусоидальная	$2.94$	$1.86$	$1.003$
RoPE	$1.98$	$2.9\cdot10^{-15}$	$1.000$

Вторая строка — суть урока. Разброс $1.86$ при размахе $2.94$ означает, что около двух третей изменчивости оценки объясняется абсолютной позицией, а не расстоянием. Синусоидальная кодировка относительна ровно в той мере, в какой перекрёстные слагаемые малы, — а они не малы.

Обучаемые кодировки

Альтернатива из BERT и GPT-2: таблица $\text{maxlen} \times d$, обучаемая как обычные параметры. Проще, и на обучающей длине работает не хуже.

Цена ровно одна и она жёсткая: за пределами таблицы значений нет. Не «хуже экстраполирует» — их не существует, потому что позиция 4096 в таблице на 2048 строк не адресуется. Отсюда и вся история с расширением контекста: у синусоид и RoPE значение хотя бы определено при любой позиции, у таблицы — нет.

Что попробовали дальше

схема	где живёт позиция	экстраполяция
абсолютная синусоидальная	в эмбеддинге, прибавляется	формально да, фактически плохо
обучаемая таблица	в эмбеддинге, прибавляется	невозможна
относительная (Shaw, T5)	слагаемое в оценке, зависит от $i-j$	да
ALiBi	линейный штраф $-m\vert i-j\vert$ в оценке	да, и хорошо
RoPE	поворот $q$ и $k$	да, и хорошо

Общая линия видна: позиция переехала из входа в оценку. Как только она влияет прямо на $q^\top k$, а не через прибавленный к содержанию вектор, перекрёстные слагаемые исчезают вместе с зависимостью от абсолютной позиции.

ALiBi — самый резкий пример: там вообще нет кодировки, только вычитание $m|i-j|$ из оценки, по своему наклону $m$ на каждую голову. Работает, и это хороший аргумент в пользу того, что основное содержание позиционной информации — «насколько далеко», а не «где именно».

RoPE выбирает третий путь: не прибавить и не вычесть, а повернуть. Об этом урок 120.