Ортогональность и проекции

Зачем нужна ортонормированность

В прошлом уроке, чтобы найти координаты вектора в базисе, приходилось решать систему. Для ортонормированного базиса — все векторы единичной длины и попарно ортогональны — решать нечего:

$[\mathbf{v}]_i = \langle \mathbf{v}, \mathbf{b}_i \rangle$

Проверяется мгновенно. Если $\mathbf{v} = \sum_j c_j \mathbf{b}_j$, то

$\langle \mathbf{v}, \mathbf{b}_i \rangle = \sum_j c_j \langle \mathbf{b}_j, \mathbf{b}_i \rangle = c_i$

потому что все слагаемые с $j \ne i$ обнулились, а при $j = i$ множитель равен единице. Система уравнений превратилась в $n$ независимых скалярных произведений — это и есть причина, по которой ортонормированные базисы предпочитают всем остальным.

Проекция на вектор

Проекция $\mathbf{v}$ на направление $\mathbf{u}$:

$$\operatorname{proj}_{\mathbf{u}}(\mathbf{v}) = \htmlData{k=coef}{\frac{\langle \mathbf{v}, \mathbf{u}\rangle}{\langle \mathbf{u}, \mathbf{u}\rangle}}\,\htmlData{k=dir}{\mathbf{u}}$$

Коэффициент безразмерен, а направление задаёт, куда смотреть. Деление на $\langle \mathbf{u}, \mathbf{u}\rangle$ нужно ровно для того, чтобы длина $\mathbf{u}$ не влияла на результат: проекция зависит от прямой, а не от выбранного на ней вектора. Для единичного $\mathbf{u}$ знаменатель равен единице и формула упрощается до $\langle \mathbf{v}, \mathbf{u}\rangle \mathbf{u}$.

Включите проекцию и подвигайте векторы. Обратите внимание на пунктирный остаток — он всегда перпендикулярен направлению:

скалярное произведение

3

норма a

2.06

норма b

2.24

косинус

0.65

угол

49.4°

проекция

Ключевое свойство: остаток ортогонален

Разложим $\mathbf{v}$ на проекцию и остаток: $\mathbf{v} = \mathbf{p} + \mathbf{r}$, где $\mathbf{p} = \operatorname{proj}_{\mathbf{u}}(\mathbf{v})$. Тогда

$\langle \mathbf{r}, \mathbf{u}\rangle = \langle \mathbf{v}, \mathbf{u}\rangle - \frac{\langle \mathbf{v}, \mathbf{u}\rangle}{\langle \mathbf{u}, \mathbf{u}\rangle}\langle \mathbf{u}, \mathbf{u}\rangle = 0$

Остаток ортогонален направлению — всегда, по построению. Из этого следует, что проекция это ближайшая точка прямой: для любой другой точки $\mathbf{q}$ на прямой по теореме Пифагора

$\|\mathbf{v} - \mathbf{q}\|^2 = \|\mathbf{r}\|^2 + \|\mathbf{p} - \mathbf{q}\|^2 \ge \|\mathbf{r}\|^2$

Вот эта фраза — «проекция минимизирует расстояние» — и есть весь метод наименьших квадратов. Мы вернёмся к ней в практическом уроке блока.

Проекция на подпространство

Если столбцы $U$ образуют базис подпространства, проекция задаётся матрицей

$P = U(U^\top U)^{-1}U^\top$

Формула выглядит громоздко, но читается по частям справа налево: $U^\top$ берёт скалярные произведения с базисными векторами, $(U^\top U)^{-1}$ исправляет то, что базис не ортонормирован, $U$ собирает результат обратно в линейную комбинацию. Для ортонормированных столбцов $U^\top U = I$, и всё сводится к $P = UU^\top$.

У проекционной матрицы два характерных свойства: $P^2 = P$ (проецировать дважды — то же, что один раз) и $P^\top = P$.

Ортогональные матрицы

Матрица $Q$ ортогональна, если $Q^\top Q = I$, то есть $Q^{-1} = Q^\top$. Столбцы образуют ортонормированный базис. Главное следствие:

$\langle Q\mathbf{x}, Q\mathbf{y}\rangle = (Q\mathbf{x})^\top Q\mathbf{y} = \mathbf{x}^\top Q^\top Q \mathbf{y} = \langle \mathbf{x}, \mathbf{y}\rangle$

Скалярное произведение сохраняется, а значит сохраняются длины и углы. Ортогональные преобразования — это в точности повороты и отражения.

Практическая ценность: они не портят числа. Умножение на ортогональную матрицу не растягивает и не сжимает, поэтому не усиливает ошибку округления и не раздувает градиенты. Отсюда ортогональная инициализация весов и интерес к ортогональным репараметризациям.

Грам–Шмидт, коротко

Из любого базиса можно сделать ортонормированный: берём векторы по очереди, вычитаем из каждого его проекции на все предыдущие, нормируем.

$\mathbf{w}_k = \mathbf{v}_k - \sum_{i<k} \operatorname{proj}_{\mathbf{w}_i}(\mathbf{v}_k), \qquad \mathbf{q}_k = \frac{\mathbf{w}_k}{\|\mathbf{w}_k\|}$

Это и есть содержание $QR$-разложения. В наивном виде процесс численно неустойчив — накопленные ошибки портят ортогональность, — поэтому библиотеки используют модифицированный вариант или отражения Хаусхолдера. Знать, что проблема существует, полезнее, чем знать её решение.