Практика блока

Блок закрывается кодом, и здесь он важнее обычного: автоград — единственный способ убедиться, что правило цепочки понято, а не прочитано.

1. micrograd: автоград скаляров

Задача: класс Value, хранящий число, ссылки на родителей и локальную производную. Минимальный интерфейс — три вещи:

1. Прямой проход через перегруженные операторы: +, *, tanh, exp, **. Каждая операция создаёт новый Value, запоминая, из кого он получен.
2. Топологическая сортировка графа от выхода к входам.
3. Обратный проход: grad выхода равен единице, дальше каждый узел добавляет upstream * local к градиентам родителей.

Три места, где ошибаются, и все три уже встречались в блоке:

• +=, а не =. Узел, использованный дважды, получает вклад по каждому пути. Урок про правило цепочки, диамант.
• порядок обхода. Узел обрабатывается только после всех своих потребителей — обратный топологический порядок, иначе градиент утечёт недосчитанным.
• ReLU в нуле. Возвращайте ноль и знайте, что это соглашение, а не производная.

Ниже тот же граф, что вы соберёте руками. Пройдите обратный проход по шагам и сверьте со своим кодом узел за узлом — это самый быстрый способ найти расхождение:

x знач 2 град —

w₁ знач 0.5 град —

b₁ знач -0.5 град —

w₂ знач 1.5 град —

y знач 0.3 град —

w₁x × знач 1 град —

z + знач 0.5 град —

h tanh знач 0.46 град —

o × знач 0.69 град —

o − y − знач 0.39 град —

L x² знач 0.15 град —

шаг назад до конца сбросить

2. MLP на своём автограде

Соберите слой из Value, сеть из слоёв, обучите на игрушечной задаче — например на четырёх точках XOR или на предсказании знака. Нужно ровно это:

• forward: $\mathbf{h} = \tanh(W_1\mathbf{x} + \mathbf{b}_1)$, $o = W_2\mathbf{h} + b_2$;
• лосс: квадратичный или кросс-энтропия;
• шаг: p.data -= lr * p.grad по всем параметрам;
• обнуление градиентов перед каждым шагом. Забытое zero_grad — та же ошибка накопления, только между итерациями. Лосс при этом обычно не падает, а разлетается.

Цель не в качестве модели, а в том, чтобы лосс убывал и вы понимали, почему.

3. Backprop на бумаге и сверка с кодом

Возьмите двухслойную сеть и выпишите градиенты вручную, пользуясь формулами из урока про матричное дифференцирование:

$$\htmlData{k=w2}{\frac{\partial L}{\partial W_2} = \boldsymbol{\delta}_2\mathbf{h}^\top}, \qquad \htmlData{k=w1}{\frac{\partial L}{\partial W_1} = \boldsymbol{\delta}_1\mathbf{x}^\top}, \quad \boldsymbol{\delta}_1 = (W_2^\top\boldsymbol{\delta}_2)\odot(1 - \mathbf{h}^2)$$

Знак $\odot$ — поэлементное умножение, и оно здесь не случайно: якобиан $\tanh$ диагонален, а VJP с диагональной матрицей это и есть поэлементное умножение. Тот самый случай из урока про VJP, где сборка матрицы была бы расточительством.

Сверьте эти формулы с тем, что выдал ваш автоград. Совпадение — хороший знак; но надёжнее следующий пункт.

4. Численная проверка градиентов

Единственный способ убедиться, что автоград верен, — сравнить с центральной разностью:

$\frac{\partial L}{\partial \theta_i} \approx \frac{L(\theta + h\mathbf{e}_i) - L(\theta - h\mathbf{e}_i)}{2h}$

Практические детали, без которых проверка врёт:

• $h \approx 10^{-5}$ для двойной точности. Меньше — теряются значащие цифры в разности, больше — растёт ошибка аппроксимации. Мы считали это в первом уроке.
• сравнивайте относительную ошибку $\frac{|a - n|}{\max(|a|, |n|, \varepsilon)}$, а не абсолютную: у больших градиентов абсолютная разница велика сама по себе.
• порог: относительная ошибка ниже $10^{-6}$ — почти наверняка верно, выше $10^{-3}$ — почти наверняка ошибка.
• ReLU проверять не стоит около нуля: там производной нет, и численная разность честно покажет расхождение, которое не является ошибкой. Проверяйте на tanh.

Именно эту проверку и реализуете в задаче ниже — на сети, которая целиком считается руками.

Экзамен блока

Прочитайте раздел с методом в статье про Adam (Kingma, Ba). К этому моменту в формулах не должно остаться незнакомого: градиент, экспоненциальные средние, поправка на смещение. Оптимизация как таковая — блок 5, но читаться формулы должны уже сейчас.