Скалярное произведение и нормы

Направление зависимости

В школе скалярное произведение вводят через угол: $\langle \mathbf{x}, \mathbf{y}\rangle = \|\mathbf{x}\|\|\mathbf{y}\|\cos\theta$. Это удобно, но логически вывернуто наизнанку: чтобы так определить, нужно уже уметь измерять углы.

В линейной алгебре порядок обратный, и он единственно рабочий. Сначала задаётся скалярное произведение — как дополнительная структура на пространстве, — а длины и углы получаются из него.

Скалярное произведение это функция $\langle \cdot, \cdot \rangle$ двух векторов, удовлетворяющая трём требованиям:

• симметричность: $\langle \mathbf{x}, \mathbf{y}\rangle = \langle \mathbf{y}, \mathbf{x}\rangle$;
• линейность по первому аргументу (а с симметричностью — и по второму);
• положительная определённость: $\langle \mathbf{x}, \mathbf{x}\rangle > 0$ при $\mathbf{x} \ne \mathbf{0}$.

В $\R^n$ стандартный выбор — $\sum_i x_i y_i$, но он именно выбор. Другое скалярное произведение — например $\mathbf{x}^\top M \mathbf{y}$ с положительно определённой $M$ — даёт другую геометрию на том же пространстве. Это не экзотика: расстояние Махаланобиса и есть такая замена.

Длина и угол как следствия

Норма определяется через скалярное произведение:

$\|\mathbf{x}\| = \sqrt{\langle \mathbf{x}, \mathbf{x}\rangle}$

А угол — так:

$$\htmlData{k=cos}{\cos\theta} := \frac{\htmlData{k=inner}{\langle \mathbf{x}, \mathbf{y}\rangle}}{\htmlData{k=norms}{\|\mathbf{x}\|\,\|\mathbf{y}\|}}$$

Знак $:=$ здесь важен: это определение, а не тождество. Косинус угла — это то, что мы называем отношением скалярного произведения к произведению норм. И тогда «ортогональность» означает просто $\langle \mathbf{x}, \mathbf{y}\rangle = 0$ — без всякой геометрии, что позволяет говорить об ортогональных функциях, многочленах и случайных величинах.

Потяните векторы так, чтобы скалярное произведение стало нулём, и посмотрите на угол:

скалярное произведение

0

норма a

2.24

норма b

2.24

косинус

0

угол

90°

Коши–Буняковский

Неравенство Коши–Буняковского

$|\langle \mathbf{x}, \mathbf{y}\rangle| \le \|\mathbf{x}\|\,\|\mathbf{y}\|$

Без него определение угла было бы бессмысленным: правая часть формулы для $\cos\theta$ могла бы вылезти за $[-1, 1]$. Неравенство гарантирует, что не вылезет, и обращается в равенство ровно тогда, когда векторы коллинеарны.

Включите переключатель выше и попробуйте добиться равенства — получится только выставив векторы на одну прямую.

Нормы, которые не из скалярного произведения

Норма — это любая функция $\|\cdot\|$ с тремя свойствами: положительность (ноль только у нулевого вектора), однородность $\|\lambda\mathbf{x}\| = |\lambda|\|\mathbf{x}\|$ и неравенство треугольника. Скалярное произведение даёт норму, но не всякая норма получается так.

Семейство $L^p$:

$\|\mathbf{x}\|_p = \left(\sum_i |x_i|^p\right)^{1/p}, \qquad \|\mathbf{x}\|_\infty = \max_i |x_i|$

Единичный шар — множество $\{\mathbf{x} : \|\mathbf{x}\| \le 1\}$ — показывает разницу лучше формулы. Потяните $p$:

p = 1p = 2p = ∞

p

2

L1

1.3

L2

0.94

L∞

0.8

текущая Lp

0.94

Обратите внимание: одна и та же точка может лежать внутри шара по $L^\infty$ и снаружи по $L^1$. «Далеко» и «близко» зависят от нормы, и это не философия — от выбора нормы зависит, что именно оптимизируется.

Только $L^2$ приходит из скалярного произведения. У $L^1$ и $L^\infty$ шары с углами, и понятие угла для них не определено. Практические следствия:

• $L^2$-регуляризация сжимает все координаты понемногу — шар гладкий, и оптимум обычно не попадает на ось;
• $L^1$-регуляризация зануляет координаты — у шара вершины на осях, и оптимум охотно садится в вершину. Разреженность Lasso — это геометрия ромба, а не магия.

Что стоит унести

Скалярное произведение — не следствие геометрии, а её источник. Меняя его, вы меняете, что значит «длина», «угол» и «перпендикулярно». Именно поэтому cosine similarity работает на эмбеддингах: она измеряет только направление, сознательно выбрасывая длину, — и именно поэтому её значение не меняется при масштабировании векторов.