Разбор формул из статей

Экзамен блока. Ни одну из этих формул сейчас не надо понимать — надо уметь разобрать её на части и сказать, какого типа каждый символ и какой у него shape. Смысл придёт в блоках 1–6.

Процедура одна и та же:

1. выписать каждый символ;
2. указать его тип: скаляр, вектор, матрица, множество, функция, распределение;
3. указать shape, если это тензор;
4. проверить, что размерности сходятся.

1. Линейная регрессия, векторная форма

$\hat{\mathbf{y}} = X\mathbf{w} + b\mathbf{1}$

Символ	Тип	Shape
$X$	матрица объектов	$n \times d$
$\mathbf{w}$	вектор весов	$d$
$b$	скаляр	—
$\mathbf{1}$	вектор из единиц	$n$
$\hat{\mathbf{y}}$	вектор предсказаний	$n$

Проверка: $(n \times d) \cdot (d) = (n)$, плюс вектор длины $n$ — сходится. Заметьте, что $b$ скаляр, а прибавляется к вектору: запись $b\mathbf{1}$ и есть явная форма того, что в NumPy сделал бы broadcasting.

2. Softmax

$\sigma(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$

$\mathbf{z} \in \R^K$ — вектор логитов, $\sigma(\mathbf{z}) \in \R^K$ — вектор вероятностей. Индекс $i$ слева фиксирован, а $j$ справа — связанная переменная суммирования. Их легко перепутать, и это первое, что нужно проверять.

Из записи сразу видно: знаменатель одинаков для всех $i$, значит softmax не покомпонентная функция — каждая координата зависит от всех остальных.

Отсюда же следует сдвиговая инвариантность: умножив числитель и знаменатель на $e^{-c}$, получим тот же результат при замене $z_i \to z_i - c$. Это и есть трюк со стабильным softmax, и он выводится из формулы за одну строку.

3. Внимание

$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) V$

Символ	Shape
$Q$	$n \times d_k$
$K$	$m \times d_k$
$V$	$m \times d_v$
$QK^\top$	$n \times m$
результат	$n \times d_v$

Разбор по шагам: $QK^\top$ имеет форму $(n \times d_k)(d_k \times m) = n \times m$ — матрица «каждый запрос против каждого ключа». Softmax применяется по строкам, форма не меняется. Умножение на $V$: $(n \times m)(m \times d_v) = n \times d_v$.

$\sqrt{d_k}$ — скаляр. Зачем он там, разбирается в блоке 6; пока достаточно видеть, что он не влияет на размерности.

4. Матожидание и оценка методом Монте-Карло

$\mathbb{E}_{x \sim p}[f(x)] \approx \frac{1}{N}\sum_{i=1}^{N} f(x_i), \qquad x_i \sim p$

Здесь важна нижняя приписка у $\mathbb{E}$: она говорит, по какому распределению берётся ожидание. Без неё запись неоднозначна, и в статьях это регулярный источник путаницы.

$f$ — функция, $p$ — распределение, $x_i$ — сэмплы, результат — скаляр (или вектор, если $f$ векторнозначна). Знак $\sim$ здесь читается «распределено как» — не эквивалентность и не приближённое равенство.

5. ELBO

$\log p(x) \ge \mathbb{E}_{q(z \mid x)}\big[\log p(x \mid z)\big] - D_{\mathrm{KL}}\big(q(z \mid x)\,\|\,p(z)\big)$

Самая нагруженная формула из пяти, и всё равно разбирается механически:

• $p(x)$, $p(x \mid z)$, $p(z)$, $q(z \mid x)$ — плотности, то есть функции, возвращающие неотрицательные числа;
• $\mathbb{E}_{q(z \mid x)}[\cdot]$ — ожидание по $z$, распределённому согласно $q$;
• $D_{\mathrm{KL}}(\cdot \| \cdot)$ — функция от двух распределений, возвращающая неотрицательный скаляр;
• вертикальная черта внутри $D_{\mathrm{KL}}$ — разделитель аргументов, а не условная вероятность. Внутри $q(z \mid x)$ та же черта означает именно условность. Один символ, два смысла, различаются позицией.

Обе части неравенства — скаляры. Это всё, что нужно установить сейчас.

Заведите глоссарий

Практическое задание без проверки, но самое полезное во всём блоке.

Создайте файл notation.md и записывайте туда каждый незнакомый символ, встреченный при чтении: сам символ, тип, shape, где встретился. Пополняйте его до конца курса.

Через полгода это будет ваша персональная шпаргалка — и она окажется полезнее любой чужой, потому что составлена по тем статьям, которые читаете именно вы.

Начать можно с того, что уже разобрано выше.