Гессиан и кривизна

Матрица вторых производных

$H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}$

Для $f : \R^n \to \R$ это матрица $n \times n$. Она симметрична, если вторые производные непрерывны (теорема Шварца), — и это не мелочь: симметричность означает, что к гессиану применима спектральная теорема из блока 1. Все выводы ниже опираются именно на неё.

Разложение Тейлора второго порядка выглядит так:

$$f(\mathbf{x} + \mathbf{h}) \approx f(\mathbf{x}) + \htmlData{k=lin}{\langle \nabla f, \mathbf{h}\rangle} + \htmlData{k=quad}{\tfrac{1}{2}\mathbf{h}^\top H \mathbf{h}}$$

Сравните с одномерным случаем: $f'h$ стало скалярным произведением, а $f''h^2$ — квадратичной формой $\mathbf{h}^\top H \mathbf{h}$. Проверка форм: $(1 \times n)(n \times n)(n \times 1) = 1 \times 1$, то есть число, как и должно быть.

Классификация критических точек

Пусть $\nabla f(\mathbf{x}^*) = \mathbf{0}$. Тогда поведение около точки решает знак квадратичной формы, а его, по спектральной теореме, решают собственные значения $H$:

собственные значения $H$	что это
все $> 0$ (положительно определён)	локальный минимум
все $< 0$ (отрицательно определён)	локальный максимум
есть и положительные, и отрицательные	седло
есть нулевые, остальные одного знака	вырожденный случай, второй порядок не решает

Для $2 \times 2$ проверять собственные значения по отдельности не нужно — достаточно следа и определителя, как в блоке 1: $\det H < 0$ означает разные знаки, то есть седло; при $\det H > 0$ знак определяется следом.

Поставьте точку в начало координат на каждой из функций и сравните:

минимуммаксимумседловырожденныйплохо обусловленный

f(x, y)

0.01

градиент

0.1, 0.1

крутизна ‖∇f‖

0.14

направление

Кривизна и обусловленность

Собственные значения гессиана — это кривизна вдоль главных направлений. Их отношение

$\kappa = \frac{\lambda_{\max}}{\lambda_{\min}}$

и есть число обусловленности задачи. То же самое $\kappa$, что в уроке про SVD, — и роль у него та же: он говорит, во сколько раз задача «вытянута».

Геометрически: линии уровня положительно определённой квадратичной формы — эллипсы, а $\sqrt{\kappa}$ — отношение их осей. При $\kappa = 1$ это окружности и градиент смотрит точно в минимум. При большом $\kappa$ градиент смотрит почти поперёк вытянутой оси, и спуск идёт зигзагом. Переключитесь на «плохо обусловленный» и подвигайте точку — стрелка почти нигде не указывает на центр.

Отсюда и практика: нормализация входов, batch/layer norm, предобусловливание в Adam — всё это попытки уменьшить $\kappa$. Не «ускорить обучение» абстрактно, а сделать линии уровня круглее.

Почему в глубоком обучении гессиан не считают

Гессиан имеет $n^2$ элементов. При $n = 10^9$ это $10^{18}$ чисел — не существует носителя, куда это записать. Метод Ньютона требует ещё и решить систему с ним.

Что делают вместо:

• работают с методами первого порядка, а информацию о кривизне накапливают косвенно — так устроены momentum и Adam;
• считают произведение гессиана на вектор ($Hv$), не собирая сам гессиан: это делается двумя обратными проходами и стоит как несколько градиентов;
• аппроксимируют его диагональю или блоками (K-FAC, Shampoo).

Знать структуру гессиана нужно не чтобы его вычислить, а чтобы понимать, что именно приближают оптимизаторы. Об этом весь блок 5.