Как читать формулу

Программист, впервые открывший статью по машинному обучению, обычно спотыкается не о математику. Он спотыкается о нотацию. Формула выглядит как шифр, потому что в ней не подписаны типы: непонятно, что здесь число, что вектор, а что функция от двух аргументов.

Хорошая новость: в статьях по ML нотация почти стандартизирована. Достаточно выучить соглашения — и половина формул начнёт читаться с листа.

Первое правило: у каждого символа есть тип и форма

Возьмём самую известную формулу в машинном обучении — предсказание линейной модели.

$$\htmlData{k=yhat}{\hat{y}} = \htmlData{k=w}{\mathbf{w}}^\top \htmlData{k=x}{\mathbf{x}} + \htmlData{k=b}{b}$$

Наведите курсор на любую часть формулы — или на выделенные слова в тексте.

Здесь w и x — векторы одинаковой длины $n$, $b$ — одно число, а $\hat{y}$ — тоже одно число. Операция $\mathbf{w}^\top \mathbf{x}$ превращает два вектора в скаляр: это скалярное произведение, оно же сумма попарных произведений.

Как только вы выписали для каждого символа его тип и форму, формула перестаёт быть шифром. Это буквально механическая процедура, и она работает всегда.

Соглашения о буквах

В статьях по ML почти всегда придерживаются такой системы:

Написание	Что обозначает	Примеры
строчная латинская	скаляр или вектор	$x$, $y$, $b$
жирная строчная	вектор	$\mathbf{x}$, $\mathbf{w}$
ЗАГЛАВНАЯ	матрица	$A$, $W$, $X$
строчная греческая	параметр, гиперпараметр	$\alpha$, $\theta$, $\sigma$
каллиграфическая	множество или распределение	$\mathcal{X}$, $\mathcal{D}$, $\mathcal{N}$

Соглашение не закон: авторы его нарушают, и жирное начертание часто опускают. Но если вы видите $W$ и $x$ рядом — почти наверняка первое матрица, второе вектор, и запись $Wx$ означает умножение матрицы на вектор.

Проверка размерностей

Главный практический навык — shape-исчисление. Перед тем как понимать смысл формулы, проверьте, что размерности сходятся. Если $W$ имеет форму $m \times n$, а $\mathbf{x}$ — форму $n$, то $W\mathbf{x}$ имеет форму $m$. Внутренние размерности обязаны совпасть; они «схлопываются».

$$\underbrace{W}_{m \times n} \; \underbrace{\mathbf{x}}_{n \times 1} \;=\; \underbrace{\mathbf{z}}_{m \times 1}$$

Если размерности не сходятся — вы неправильно прочитали формулу, а не автор ошибся. В девяти случаях из десяти это так.

Что делать дальше

Заведите файл-глоссарий нотации. Каждый раз, встречая незнакомый символ, выписывайте его вместе с типом и формой. К концу курса это будет ваша персональная шпаргалка, и она окажется полезнее любой чужой.