Числа с плавающей точкой

Как устроено число

$$x = (-1)^{\htmlData{k=sign}{s}} \cdot 2^{\htmlData{k=exp}{e - \text{bias}}} \cdot \big(1 + \htmlData{k=man}{f}\big)$$

Два бюджета, между которыми делятся биты:

• экспонента задаёт диапазон — насколько большие и малые числа выражаются;
• мантисса задаёт точность — сколько значащих цифр.

Ключевая величина — машинный эпсилон $\varepsilon = 2^{-m}$, где $m$ — число битов мантиссы. Это расстояние от единицы до следующего представимого числа, и оно же — относительная погрешность любой операции.

Переключайте форматы. Обратите внимание, что все числа в таблице выведены из двух ширин, а не взяты из справочника.

fp32fp16bf16fp8 (e4m3)fp8 (e5m2)

раскладка битов

знак · 1

экспонента · 8

мантисса · 23

всего бит

32

эпсилон

1.19e-7

максимум

3.403e+38

мин. нормальное

1.18e-38

десятичных цифр

7.2

Главный сюрприз: bf16 менее точен, чем fp16

Сравните две строки:

формат	биты мантиссы	эпсилон	максимум
fp16	$10$	$9.8 \cdot 10^{-4}$	$65\,504$
bf16	$7$	$7.8 \cdot 10^{-3}$	$3.4 \cdot 10^{38}$

У bf16 меньше битов мантиссы и в восемь раз больший эпсилон. По любой мере точности он хуже. И именно его используют для обучения.

Причина в том, что два вида поломок несимметричны:

• потеря точности ухудшает шаг обучения на доли процента. SGD и без того работает с шумной оценкой градиента (блок 5, урок 060), и лишний шум в третьем знаке теряется в этом шуме;
• переполнение или обнуление ломает обучение целиком. inf в градиенте портит все веса за один шаг; ноль означает, что слой не учится вовсе.

Диапазон fp16 ($6 \cdot 10^{-5}$ до $65\,504$) для градиентов тесен, и с ним приходится делать loss scaling: умножать лосс на большую константу, чтобы поднять градиенты в представимую область, а потом делить обратно. Это работает, но требует динамического подбора масштаба и обработки переполнений. bf16 снимает проблему целиком — его диапазон совпадает с fp32, — и потому вытеснил fp16 в обучении, оставив ему инференс.

Эпсилон — это относительная величина

Частая ошибка — считать эпсилон абсолютной погрешностью. Он относительный: расстояние между соседними представимыми числами пропорционально самому числу.

около	шаг в fp32
$1$	$1.2 \cdot 10^{-7}$
$10^6$	$\approx 0.06$
$10^{10}$	$\approx 10^3$

Отсюда практическое следствие: прибавление малого к большому теряется. В fp32 $10^8 + 1$ равно ровно $10^8$, потому что единица меньше шага сетки в этой области.

Это и есть механизм, из которого растут все проблемы следующего урока: накопление суммы из миллиона слагаемых, усреднение по большому батчу, вычитание близких величин. Ничего из этого не «неточно» — всё это точно настолько, насколько позволяет сетка, и именно поэтому порядок операций начинает иметь значение.

Что стоит помнить

формат	где применяют
fp32	мастер-копия весов, накопители, чувствительные операции
bf16	обучение: прямой и обратный проход
fp16	инференс; обучение только с loss scaling
fp8	инференс и, всё чаще, часть операций обучения

Заметьте строку про мастер-копию. В смешанной точности веса хранят в fp32, а вычисляют в bf16, потому что шаг оптимизатора часто меньше эпсилона: прибавление $10^{-4}$ к весу порядка единицы в bf16 не изменит ничего. То есть fp32-копия нужна не для точности вычислений, а для того, чтобы обновления вообще накапливались.