Матрица как линейное отображение

Сначала отображение, потом таблица

Матрица — это не таблица чисел. Точнее: таблица чисел — это запись матрицы в фиксированном базисе, а сама матрица есть линейное отображение.

Отображение $T : V \to W$ называется линейным, если

$$T(\mathbf{x} + \mathbf{y}) = T(\mathbf{x}) + T(\mathbf{y}), \qquad T(\lambda \mathbf{x}) = \lambda\, T(\mathbf{x})$$

Одной формулой: $T$ сохраняет линейные комбинации. Отсюда сразу следует $T(\mathbf{0}) = \mathbf{0}$ — линейное отображение обязано оставлять начало координат на месте.

Слой нейросети $W\mathbf{x} + \mathbf{b}$ линейным не является при $\mathbf{b} \ne \mathbf{0}$: он не сохраняет ноль. Это аффинное отображение. Разница в терминологии, но она объясняет, почему в теории всё пишут через расширенную матрицу с дополнительной единичной координатой.

Главное наблюдение

Возьмём произвольный вектор и разложим его по базису:

$\mathbf{x} = x_1 \mathbf{e}_1 + x_2 \mathbf{e}_2 + \cdots + x_n \mathbf{e}_n$

Применим $T$ и воспользуемся линейностью:

$T(\mathbf{x}) = x_1 T(\mathbf{e}_1) + x_2 T(\mathbf{e}_2) + \cdots + x_n T(\mathbf{e}_n)$

Вот и всё. Линейное отображение полностью определяется тем, куда оно переводит базисные векторы. Знаете $n$ образов — знаете отображение целиком.

Матрица $A$ — это именно эти образы, записанные столбцами:

$A = \begin{bmatrix} \big| & \big| & & \big| \\ T(\mathbf{e}_1) & T(\mathbf{e}_2) & \cdots & T(\mathbf{e}_n) \\ \big| & \big| & & \big| \end{bmatrix}$

Из этого следует и определение умножения матрицы на вектор:

$$\htmlData{k=A}{A}\htmlData{k=x}{\mathbf{x}} = \sum_{i=1}^{n} \htmlData{k=x}{x_i} \, \htmlData{k=col}{A_{:,i}}$$

Матрица, умноженная на вектор, — это линейная комбинация столбцов с координатами в качестве коэффициентов. Не «строка на столбец», а именно так: покомпонентная запись $\sum_j A_{ij} x_j$ — это вычислительный рецепт, а комбинация столбцов — смысл.

Стоит один раз перестроить интуицию с «строка скалярно умножается на вектор» на «столбцы взвешиваются координатами». Вторая точка зрения объясняет почти всё остальное.

Следствия, которые теперь бесплатны

Образ (column space) — это $\mathrm{span}$ столбцов. Прямо из формулы выше: $A\mathbf{x}$ пробегает все линейные комбинации столбцов, когда $\mathbf{x}$ пробегает всё пространство.

Ранг — размерность образа, то есть число линейно независимых столбцов.

Ядро (null space) — множество $\{\mathbf{x} : A\mathbf{x} = \mathbf{0}\}$, то есть те комбинации столбцов, которые обнуляются. Ядро тривиально ровно тогда, когда столбцы независимы, — то есть ровно тогда, когда отображение инъективно. Это в точности то, что мы обсуждали в блоке 0.

Теорема о ранге и дефекте связывает всё вместе:

$\dim(\ker A) + \operatorname{rank}(A) = n$

где $n$ — число столбцов. Читается как закон сохранения: каждое измерение входа либо выживает в образе, либо схлопывается в ядро.

Умножение матриц — это композиция

$(AB)\mathbf{x} = A(B\mathbf{x})$

Определение умножения матриц выбрано именно так, чтобы это равенство выполнялось. Отсюда всё остальное:

• Порядок: $AB$ означает «сначала $B$, потом $A$» — как в композиции функций $g \circ f$. Матрицы записываются в порядке, обратном порядку применения.
• Согласование размерностей: если $B : \R^n \to \R^m$ и $A : \R^m \to \R^k$, то $A$ имеет форму $k \times m$, $B$ — форму $m \times n$, произведение — $k \times n$. Внутренние размерности обязаны совпасть, потому что выход $B$ должен быть допустимым входом $A$.
• Некоммутативность: $AB \ne BA$, потому что композиция функций некоммутативна. Повернуть, а потом растянуть — не то же самое, что растянуть, а потом повернуть.
• Ассоциативность: $(AB)C = A(BC)$, потому что композиция ассоциативна. Ровно поэтому в глубоких сетях можно группировать слои как угодно.

Ни одно из этих свойств не нужно запоминать отдельно. Все они — свойства композиции отображений.

Транспонирование

$(A^\top)_{ij} = A_{ji}$. Геометрический смысл не так очевиден, как хотелось бы, и станет ясен только вместе со скалярным произведением: $A^\top$ — это сопряжённое отображение, определяемое соотношением

$\langle A\mathbf{x}, \mathbf{y}\rangle = \langle \mathbf{x}, A^\top\mathbf{y}\rangle$

Пока достаточно рабочих правил: $(AB)^\top = B^\top A^\top$ — порядок меняется, как при обращении композиции.

Проверка понимания

Матрица $2 \times 3$ задаёт отображение $\R^3 \to \R^2$. Число строк — это размерность выхода, число столбцов — размерность входа. Легко перепутать, потому что записывается «строки × столбцы», а читается «из столбцов в строки».

Проверяйте так: столбцов должно быть столько, сколько базисных векторов на входе — ведь каждый столбец и есть образ одного из них.