Ранг, ядро и обратимость

Обратимость — это про биекцию

Матрица $A$ обратима, если существует $A^{-1}$ с $A^{-1}A = AA^{-1} = I$. Но определение через формулу скрывает смысл. Обратимость — это ровно то же, что биективность отображения: у каждого выхода есть единственный вход.

Отсюда сразу следует, что обратимой может быть только квадратная матрица. Отображение $\R^3 \to \R^2$ не может быть инъективным — три измерения не влезают в два без склейки. Отображение $\R^2 \to \R^3$ не может быть сюръективным — двумерный образ не заполнит трёхмерное пространство.

Потяните столбцы и посмотрите, что происходит с сеткой. Пока параллелограмм имеет площадь, отображение обратимо. Как только столбцы становятся коллинеарными, вся плоскость схлопывается в прямую:

тождественнаясхлопываниеубитая ось сбросить

1 0 0 1

определитель

1

ранг

2

Ядро и образ

Два подпространства, через которые описывается всё остальное:

• Образ $\operatorname{im} A = \{A\mathbf{x}\}$ — куда отображение попадает. Это span столбцов, как мы видели в прошлом уроке.
• Ядро $\ker A = \{\mathbf{x} : A\mathbf{x} = \mathbf{0}\}$ — что отображение убивает.

Ранг — размерность образа. Дефект (nullity) — размерность ядра. Они связаны законом сохранения:

$$\dim(\htmlData{k=ker}{\ker A}) + \htmlData{k=rank}{\operatorname{rank} A} = \htmlData{k=n}{n}$$

Каждое измерение входа либо выживает в образе, либо схлопывается в ядро. Третьего нет.

Сколько решений у системы

Теперь вопрос «сколько решений у $A\mathbf{x} = \mathbf{b}$» разбирается механически. Возможны ровно три случая:

1. Ни одного. $\mathbf{b} \notin \operatorname{im} A$. Система несовместна — мы просим отображение попасть туда, куда оно не попадает.
2. Ровно одно. $\mathbf{b} \in \operatorname{im} A$ и $\ker A$ тривиально.
3. Бесконечно много. $\mathbf{b} \in \operatorname{im} A$, но ядро непусто.

Третий случай стоит записать явно, потому что он объясняет структуру ответа. Если $A\mathbf{x}_0 = \mathbf{b}$ и $\mathbf{v} \in \ker A$, то

$A(\mathbf{x}_0 + \mathbf{v}) = A\mathbf{x}_0 + A\mathbf{v} = \mathbf{b} + \mathbf{0} = \mathbf{b}$

Множество решений — это $\mathbf{x}_0 + \ker A$: одно частное решение плюс всё ядро. Не подпространство, а сдвинутое подпространство — снова та же разница, что между подпространством и аффинным множеством.

«Два уравнения, два неизвестных — одно решение» верно только в общем положении. Именно вырожденные случаи ломают наивный код, и именно поэтому численные библиотеки возвращают ранг, а не бросают исключение.

Критерии обратимости — это всё одно утверждение

Для квадратной $A$ размера $n \times n$ равносильно:

• $A$ обратима;
• $\det A \ne 0$;
• $\operatorname{rank} A = n$;
• $\ker A = \{\mathbf{0}\}$;
• столбцы линейно независимы;
• $A\mathbf{x} = \mathbf{b}$ имеет ровно одно решение при любом $\mathbf{b}$.

Не шесть фактов, а шесть способов сказать «отображение не теряет измерений». Запоминать по отдельности не нужно; полезно уметь переходить от любого к любому.

Блочные матрицы

Матрицу можно резать на блоки и умножать блоками, как если бы блоки были числами — при условии, что размерности внутри сходятся:

$$\begin{bmatrix} A & B \\ C & D \end{bmatrix} \begin{bmatrix} \mathbf{x} \\ \mathbf{y} \end{bmatrix} = \begin{bmatrix} A\mathbf{x} + B\mathbf{y} \\ C\mathbf{x} + D\mathbf{y} \end{bmatrix}$$

Это не техническая мелочь. Ровно так читается multi-head attention: одна большая матрица проекции — это блоки по головам, и умножение на неё это независимые умножения в каждой голове. И ровно так работают batched-операции: батч — это блочно-диагональная структура, которую никто не выписывает целиком.

Что стоит унести

Ранг — не свойство таблицы чисел, а число измерений, которые отображение сохраняет. Обратимость — не наличие формулы для $A^{-1}$, а отсутствие потерь. В коде это выглядит как разница между «система решена» и «система решена с точностью до ядра», и путать их дорого.