Смена базиса

Числа сами по себе ничего не значат

Запись $\mathbf{v} = (3, 5)$ неполна. Полная версия: «координаты $\mathbf{v}$ в базисе $\mathcal{B}$ равны $(3, 5)$». Обычно базис стандартный и о нём молчат — но как только базисов становится два, молчание превращается в ошибку.

Обозначение: $[\mathbf{v}]_{\mathcal{B}}$ — столбец координат $\mathbf{v}$ в базисе $\mathcal{B}$. Сам вектор один, координат у него столько, сколько базисов вы готовы рассмотреть.

Матрица перехода

Пусть $\mathcal{B} = \{\mathbf{b}_1, \ldots, \mathbf{b}_n\}$ — новый базис, записанный в стандартных координатах. Соберём эти векторы в столбцы матрицы $P$. Тогда

$$\htmlData{k=v}{\mathbf{v}} = \htmlData{k=P}{P}\,\htmlData{k=c}{[\mathbf{v}]_{\mathcal{B}}}$$

Направление зависимости легко перепутать, поэтому стоит проговорить. $P$ берёт новые координаты и выдаёт старые. Это прямое следствие прошлого урока: умножение на матрицу — линейная комбинация столбцов, а столбцы здесь и есть новые базисные векторы. Чтобы получить новые координаты из старых, нужна обратная матрица:

$[\mathbf{v}]_{\mathcal{B}} = P^{-1}\mathbf{v}$

Ниже $P$ показана как отображение: сетка, в которую превращается стандартная, — это и есть новая система координат.

повёрнутыйскошенныйне базис сбросить

1 1 1 -1

определитель

-2

ранг

2

Та же матрица в другом базисе

Пусть отображение задано матрицей $A$ в стандартном базисе. Какая матрица задаёт то же самое отображение в базисе $\mathcal{B}$? Читаем справа налево:

$A' = P^{-1} A P$

Три шага: $P$ переводит новые координаты в старые, $A$ действует в старых, $P^{-1}$ возвращает результат в новые. Матрицы, связанные таким соотношением, называются подобными. Подобные матрицы — это одно отображение, описанное из разных систем координат.

Отсюда сразу понятно, почему у подобных матриц совпадают след, определитель и собственные значения: это свойства отображения, а не таблицы. И почему не совпадают отдельные элементы: они как раз про таблицу.

Зачем это нужно

Почти вся линейная алгебра дальше — поиск базиса, в котором задача выглядит проще:

• диагонализация (следующий урок): базис из собственных векторов, в котором отображение это просто растяжение по осям;
• PCA: базис, в котором координаты некоррелированы, а дисперсия сосредоточена в первых осях;
• SVD: два базиса сразу — свой для входа и свой для выхода.

Эта же мысль объясняет, почему в глубоком обучении так много матриц, которые «ничего не делают» по существу: линейный слой без нелинейности — это смена координат, и два таких слоя подряд заменяются одним.

Частый источник путаницы

«Повернуть вектор» и «повернуть систему координат» — разные операции, и матрицы у них взаимно обратные. Если базис повернули на $+\theta$, то координаты неподвижного вектора в новом базисе выглядят повёрнутыми на $-\theta$.

Проверка, которая всегда спасает: подставьте базисный вектор. Координаты $\mathbf{b}_1$ в базисе $\mathcal{B}$ обязаны быть $(1, 0, \ldots, 0)$ — если получилось что-то другое, вы применили матрицу не в ту сторону.