Градиент и линии уровня

Частные производные и градиент

Частная производная $\partial f/\partial x_i$ — обычная производная по одной переменной, все остальные считаются постоянными. Собрав их в вектор, получаем градиент:

$\nabla f(\mathbf{x}) = \left(\frac{\partial f}{\partial x_1}, \ldots, \frac{\partial f}{\partial x_n}\right)$

Определение через линейную аппроксимацию из первого урока переносится дословно, и именно эта запись — рабочая:

$$f(\mathbf{x} + \mathbf{h}) = f(\mathbf{x}) + \htmlData{k=inner}{\langle \htmlData{k=grad}{\nabla f(\mathbf{x})}, \htmlData{k=step}{\mathbf{h}}\rangle} + o(\|\mathbf{h}\|)$$

Обратите внимание, что делить на $\mathbf{h}$ не приходится: вместо этого появляется скалярное произведение. Именно поэтому мы потратили урок на то, чтобы считать его первичной структурой, — без него градиент нельзя даже определить.

Наискорейший рост — это следствие, а не определение

Производная по направлению единичного вектора $\mathbf{u}$:

$D_{\mathbf{u}}f = \langle \nabla f, \mathbf{u}\rangle$

Теперь спросим, при каком $\mathbf{u}$ это максимально. По Коши–Буняковскому

$\langle \nabla f, \mathbf{u}\rangle \le \|\nabla f\|\,\|\mathbf{u}\| = \|\nabla f\|$

и равенство достигается ровно когда $\mathbf{u}$ направлен вдоль $\nabla f$.

Вот и всё доказательство. «Градиент — направление наискорейшего роста» — не определение и не мнемоника, а одна строчка из неравенства, которое мы уже доказали в блоке 1. Заодно получаем: скорость роста в лучшем направлении равна $\|\nabla f\|$.

Включите дисковый переключатель направления и покрутите его — производная по направлению максимальна там, где стрелка:

x² + y²x² + 4y²x² − y²x + 2y

f(x, y)

1.56

градиент

2, 1.5

крутизна ‖∇f‖

2.5

направление

Перпендикулярность линиям уровня

Линия уровня — множество $\{\mathbf{x} : f(\mathbf{x}) = c\}$. Утверждение: градиент ортогонален линии уровня в каждой точке.

Доказательство в одну строку. Пусть $\mathbf{u}$ — направление вдоль линии уровня. Двигаясь по ней, значение $f$ не меняется по определению, значит $D_{\mathbf{u}}f = 0$, то есть $\langle \nabla f, \mathbf{u}\rangle = 0$. Это и есть ортогональность.

Отсюда понятно и почему рост максимален перпендикулярно: вдоль линии уровня изменение нулевое, а значит всё изменение живёт в перпендикулярном направлении. Подвигайте точку в виджете и убедитесь, что стрелка всегда пересекает кривую под прямым углом.

Что стоит запомнить про формы

Градиент — это вектор, а не число, и его тип обязан сходиться с типом $\mathbf{x}$. Если $f : \R^n \to \R$, то $\nabla f \in \R^n$. Проверка размерностей здесь работает так же, как shape-исчисление в блоке 1: если в выкладке градиент внезапно оказался матрицей — где-то потерян индекс.

Полезное соглашение, которое встретится в статьях: $\nabla f$ считают столбцом, а производную $\partial f/\partial \mathbf{x}$ иногда пишут строкой. Тогда они транспонированы друг другу. Это то самое расхождение layout-соглашений, которому посвящён отдельный урок через два шага.

Критические точки в многомерии

Условие первого порядка обобщается: в точке локального экстремума $\nabla f = \mathbf{0}$. Но обратное неверно ещё сильнее, чем в одномерном случае, потому что появляется новый тип критических точек — седло, где по одним направлениям минимум, по другим максимум.

Переключитесь на $x^2 - y^2$ и поставьте точку в начало координат. Градиент нулевой, экстремума нет. В высоких размерностях седла составляют подавляющее большинство критических точек — и это одна из причин, по которой обучение глубоких сетей работает лучше, чем можно было бы бояться: застрять в плохом локальном минимуме труднее, чем замедлиться около седла.