Кросс-энтропия и перплексия

Цена неверного кода

Энтропия из прошлого урока — длина оптимального кода, построенного под то самое распределение. Но что если код построен под другое?

Пусть данные приходят из $p$, а вы, полагая, что они из $q$, назначили исходу $x$ код длины $\log_2 \frac{1}{q(x)}$. Средняя длина получается такой:

$$\htmlData{k=ce}{H(p, q)} = -\sum_x \htmlData{k=real}{p(x)}\log_2 \htmlData{k=believed}{q(x)}$$

Асимметрия в записи содержательна: частоты берутся из реальности, а длины — из модели. Именно поэтому $H(p, q) \ne H(q, p)$, и порядок аргументов путать нельзя.

Ключевое неравенство: $H(p, q) \ge H(p)$, с равенством только при $p = q$. Никакой неверный код не бывает короче оптимального.

Разложение, которое всё объясняет

$H(p, q) = H(p) + \text{KL}(p \,\|\, q)$

Первое слагаемое от $q$ не зависит вообще, второе неотрицательно и обращается в нуль только при $q = p$. Отсюда сразу два вывода:

• минимизировать кросс-энтропию по модели = минимизировать KL до данных. Энтропия данных — константа, на которую вы не влияете;
• у функции потерь есть непреодолимый минимум, равный $H(p)$. Если лосс перестал падать около $0.6$, возможно, модель хороша, а данные шумны.

Подвигайте ползунки $q$ в виджете. $H(p)$ не шевелится, а кросс-энтропия и KL меняются синхронно — потому что их разность и есть та самая константа.

данные p

a

0.5

b

0.25

c

0.125

d

0.125

модель q

a

0.25

b

0.25

c

0.25

d

0.25

сделать q равномерной подогнать q под p

H(p) — предел

1.75 бит

H(p, q) — лосс

2 бит

KL(p‖q) — зазор

0.25 бит

KL(q‖p)

0.25 бит

H(q)

2 бит

Два состояния стоит посетить кнопками. «Подогнать $q$ под $p$» — KL обращается в нуль, кросс-энтропия садится ровно на $H(p) = 1.75$, и это дно. «Сделать $q$ равномерной» — кросс-энтропия становится $2$ бита ($= \log_2 4$, длина наивного кода), а KL показывает цену незнания: $0.25$ бита.

Бесконечность

Обнулите в $q$ исход, у которого $p$ не нуль. Кросс-энтропия становится бесконечной, и это не артефакт: код для исхода, который модель считает невозможным, имеет бесконечную длину.

Практически это и есть причина, по которой в классификации никогда не используют жёсткие нули:

• softmax физически не может выдать ровно нуль — экспонента положительна;
• сглаживание Лапласа в наивном Байесе (блок 3, урок 190) — та же защита;
• label smoothing делает симметричное: не даёт целевому распределению быть жёстким.

Если у вас inf или nan в лоссе классификации, первое место, куда смотреть, — не learning rate, а логарифм от нуля.

Кросс-энтропия — это MLE

Пусть $p$ — эмпирическое распределение выборки, то есть $1/n$ на каждом наблюдении. Тогда

$H(\hat{p}, q) = -\frac{1}{n}\sum_{i=1}^{n} \log q(x_i)$

Это в точности минус среднее log-правдоподобие из блока 3. То есть кросс-энтропия и MLE — не два похожих принципа, а один, записанный на двух языках:

язык теории информации	язык статистики
минимизировать $H(\hat p, q)$	максимизировать правдоподобие
минимизировать $\text{KL}(\hat p \| q)$	то же самое
энтропия данных $H(\hat p)$	константа, не зависящая от модели

Ничего нового по сравнению с блоком 3 здесь не происходит — но переформулировка полезна, потому что на языке KL естественно ставятся задачи, где данных нет вовсе (вариационный вывод, дистилляция), а на языке правдоподобия — нет.

Перплексия

Перплексия — это кросс-энтропия, возведённая в экспоненту:

$\text{PPL} = 2^{H(p, q)} \quad\text{(в битах)}, \qquad \text{PPL} = e^{H(p,q)} \quad\text{(в натах)}$

Читается как эффективное число вариантов, между которыми модель колеблется на каждом шаге. Перплексия $50$ означает «модель в среднем так же неуверенна, как при выборе из пятидесяти равновероятных слов».

Зачем экспонента, если это та же величина: логарифм плохо воспринимается на глаз. Улучшение лосса с $4.0$ до $3.7$ выглядит скромно; перплексия при этом падает с $54.6$ до $40.4$, то есть на четверть. Одно и то же улучшение, две разные интонации.

Три вещи, которые ломают сравнение перплексий между моделями:

• основание логарифма. $2^H$ и $e^H$ — разные числа. Всегда проверяйте;
• токенизация. Перплексия на токен зависит от того, что считать токеном. Модель с крупным словарём имеет меньше токенов на текст и потому другую перплексию на токен — сравнивать надо перплексию на символ или на слово;
• корпус. Перплексия на своём домене и на чужом различается в разы.

Из этих трёх вторая ловит больше всего людей: перплексии двух моделей с разными токенизаторами несравнимы напрямую, каким бы одинаковым ни выглядело определение.