Собственные значения и спектральная теорема

Направления, которые отображение не сбивает

Почти каждый вектор под действием $A$ меняет и длину, и направление. Но есть особые направления, которые только растягиваются:

$$\htmlData{k=A}{A}\htmlData{k=v}{\mathbf{v}} = \htmlData{k=lam}{\lambda}\htmlData{k=v}{\mathbf{v}}, \qquad \mathbf{v} \ne \mathbf{0}$$

Собственный вектор остаётся на своей прямой, а собственное значение говорит, во сколько раз он растянулся. Условие $\mathbf{v} \ne \mathbf{0}$ обязательно — иначе равенство выполнялось бы при любом $\lambda$ и не значило бы ничего.

Включите переключатель собственных векторов и переберите заготовки. Обратите внимание, что у поворота собственных направлений нет вовсе:

симметричнаяповоротсдвигнесимметричная сбросить

2 1 1 2

определитель

3

ранг

2

собственные векторы

Как их находят

Перепишем определение: $A\mathbf{v} - \lambda\mathbf{v} = \mathbf{0}$, то есть $(A - \lambda I)\mathbf{v} = \mathbf{0}$. Ненулевое решение существует ровно тогда, когда $A - \lambda I$ необратима, — а это, по прошлому уроку, значит

$\det(A - \lambda I) = 0$

Это характеристическое уравнение. Для $2 \times 2$ оно раскрывается в

$\lambda^2 - \operatorname{tr}(A)\,\lambda + \det(A) = 0$

откуда сразу два полезных факта: сумма собственных значений равна следу, а произведение — определителю. Проверять вычисления этим стоит всегда.

Для матриц больше $3 \times 3$ характеристический полином не используют: искать корни полинома численно неустойчиво. Настоящие алгоритмы (QR-итерации) работают иначе. Полином — инструмент понимания, а не вычисления.

Диагонализация

Пусть у $A$ есть $n$ линейно независимых собственных векторов. Соберём их в столбцы $P$, а собственные значения — в диагональную $D$. Тогда $AP = PD$, то есть

$A = PDP^{-1}, \qquad D = P^{-1}AP$

Сравните со сменой базиса из предыдущего урока: это в точности она. Диагонализация — переход в базис из собственных векторов, где отображение превращается в независимые растяжения по осям.

Практическое следствие — степени матрицы:

$A^k = PD^kP^{-1}$

Возведение диагональной матрицы в степень поэлементно, поэтому $A^{100}$ считается мгновенно. Так же анализируют устойчивость итераций: если все $|\lambda_i| < 1$, процесс сходится к нулю; если хоть одно больше единицы — расходится. Ровно этот аргумент объясняет затухающие и взрывающиеся градиенты в рекуррентных сетях.

Диагонализуема не всякая матрица: сдвиг из заготовок выше — контрпример. Но для одного важного класса гарантия есть.

Спектральная теорема

Если $A$ симметрична ($A = A^\top$), то все её собственные значения действительны, а собственные векторы можно выбрать ортонормированными.

Тогда $P$ ортогональна, и разложение принимает особенно приятный вид:

$A = Q\Lambda Q^\top$

Это едва ли не самое используемое утверждение блока. Симметричные матрицы возникают повсюду: ковариационные матрицы, гессианы, матрицы Грама $X^\top X$, лапласианы графов. Все они раскладываются в «поворот, растяжение по осям, поворот обратно».

Положительная определённость

Симметричная $A$ называется положительно определённой, если $\mathbf{x}^\top A \mathbf{x} > 0$ для всех $\mathbf{x} \ne \mathbf{0}$. Равносильные условия:

• все собственные значения строго положительны;
• $A = B^\top B$ для некоторой $B$ полного ранга;
• все ведущие главные миноры положительны (критерий Сильвестра).

Если допускается ноль — говорят «неотрицательно определённая». Зачем это нужно:

• ковариационная матрица всегда неотрицательно определена (дисперсия не бывает отрицательной);
• гессиан в точке минимума неотрицательно определён — это условие второго порядка;
• определённость $\Sigma$ — то, что делает многомерную гауссиану корректно определённой;
• в оптимизации именно собственные значения гессиана задают число обусловленности, а с ним и скорость обучения.

Частая путаница

Собственные значения — свойство отображения, а не таблицы: у подобных матриц они одинаковы. Но сингулярные значения (следующий урок) — не то же самое, что собственные. Совпадают они только для симметричных неотрицательно определённых матриц. У поворота нет действительных собственных значений, а сингулярные значения равны единице — и это ровно то различие, ради которого SVD и существует.