Сингулярное разложение

Разложение, которое есть у всех

У диагонализации два ограничения: матрица должна быть квадратной, и даже тогда она может не диагонализоваться. SVD не имеет ни одного из них.

$$A = \htmlData{k=U}{U}\,\htmlData{k=S}{\Sigma}\,\htmlData{k=V}{V^\top}$$

Читается справа налево как последовательность из трёх действий: повернуть вход, растянуть по осям, повернуть результат. Любое линейное отображение — вообще любое, включая неквадратные и вырожденные — устроено так.

Сингулярные значения $\sigma_1 \ge \sigma_2 \ge \cdots \ge 0$ стоят на диагонали $\Sigma$. Их число равно $\min(m, n)$, а количество ненулевых — это ранг.

Включите переключатель сингулярных направлений. Пунктирные векторы — ортогональная пара на входе, сплошные — куда они попадают:

поворотсдвигсимметричнаяранг 1 сбросить

1 1 0 1

определитель

1

ранг

2

собственные сингулярные

Откуда берутся сингулярные значения

Рассмотрим $A^\top A$ — она симметрична и неотрицательно определена при любой $A$. Подставим разложение:

$A^\top A = V\Sigma^\top U^\top U \Sigma V^\top = V\Sigma^2V^\top$

потому что $U^\top U = I$. Справа стоит спектральное разложение $A^\top A$. Значит:

• правые сингулярные векторы (столбцы $V$) — собственные векторы $A^\top A$;
• $\sigma_i = \sqrt{\lambda_i(A^\top A)}$;
• левые сингулярные векторы получаются как $\mathbf{u}_i = A\mathbf{v}_i / \sigma_i$.

Так SVD и считают вручную для маленьких матриц. Настоящие библиотеки этого не делают: возведение в $A^\top A$ квадрирует число обусловленности и топит малые сингулярные значения в шуме округления. Знать связь полезно, вычислять через неё — нет.

Связь с собственным разложением

	собственные значения	сингулярные значения
существуют	не всегда действительные	всегда, всегда неотрицательные
для каких матриц	только квадратные	для любых
базисы	один, необязательно ортогональный	два ортонормированных
у поворота	комплексные	все равны 1

Совпадают они, когда $A$ симметрична и неотрицательно определена. Если $A$ симметрична, но имеет отрицательные собственные значения, то $\sigma_i = |\lambda_i|$ — знак уходит в поворот.

Операторная норма и обусловленность

Насколько сильно матрица может растянуть вектор? Ответ — первое сингулярное значение:

$\|A\|_2 = \max_{\mathbf{x} \ne \mathbf{0}} \frac{\|A\mathbf{x}\|}{\|\mathbf{x}\|} = \sigma_1$

Наименьшее растяжение — это $\sigma_{\min}$. Их отношение называется числом обусловленности:

$\kappa(A) = \frac{\sigma_1}{\sigma_{\min}}$

Это одна из важнейших величин всего плана. Смысл: во сколько раз задача способна усилить относительную ошибку. Если $\kappa = 10^{8}$, то восемь значащих цифр из входных данных превращаются в ноль значащих цифр в ответе.

Для вырожденной матрицы $\sigma_{\min} = 0$ и $\kappa = \infty$. Плохая обусловленность — это «почти вырожденная»: формально решение есть, практически оно не заслуживает доверия.

Число обусловленности вернётся в блоке 5 как главная величина, определяющая скорость градиентного спуска, — там она будет посчитана для гессиана. Это тот же самый $\kappa$.

Зачем это в машинном обучении

• низкоранговое приближение — следующий урок, и с ним сжатие и LoRA;
• PCA — это SVD центрированной матрицы данных;
• псевдообратная матрица и устойчивое решение задачи наименьших квадратов;
• диагностика: спектр весов слоя показывает, сколько направлений реально используется;
• инициализация и нормализация — попытки удержать сингулярные значения около единицы, чтобы сигнал не затухал и не взрывался.