Ряд Тейлора и экстремумы

Приближение всё лучшего порядка

Производная давала линейное приближение. Вторая производная добавляет квадратичный член, третья — кубический, и так далее:

$$f(x + h) = \htmlData{k=zero}{f(x)} + \htmlData{k=one}{f'(x)h} + \htmlData{k=two}{\tfrac{1}{2}f''(x)h^2} + O(h^3)$$

Константа отвечает на «где мы», линейный член — на «куда наклонено», квадратичный — на «как изогнуто». Дальше первых трёх членов в машинном обучении заходят редко: методы первого порядка используют два члена, второго — три.

Множитель $\tfrac{1}{2}$ не украшение: он ровно тот, при котором вторая производная приближения совпадает с $f''(x)$, поскольку дифференцирование $h^2$ даёт $2h$.

Включите параболу Тейлора и подвигайте точку. Обратите внимание, насколько дальше парабола держится около функции, чем касательная:

eˣsin xln(1+x)x⁴ − 2x²

x

0.5

f(x)

1.65

f'(x)

1.65

касательная секущая парабола Тейлора

Экстремумы: условия первого и второго порядка

Пусть $f'(x^*) = 0$ — точка критическая. Что там происходит, решает второй член. При $f'(x^*) = 0$ разложение принимает вид

$f(x^* + h) \approx f(x^*) + \tfrac{1}{2}f''(x^*)h^2$

Дальше просто:

• $f''(x^*) > 0$: добавка положительна при любом $h \ne 0$ — локальный минимум;
• $f''(x^*) < 0$: добавка отрицательна — локальный максимум;
• $f''(x^*) = 0$: второй член ничего не решает, нужны старшие.

Последний случай — не редкость и не патология. У $x^3$ в нуле и первая, и вторая производные нулевые, а экстремума нет; у $x^4$ там же минимум. Отличить их вторым порядком невозможно.

В многомерном случае роль $f''$ играет гессиан, а знак заменяется положительной определённостью — и здесь пригодится всё из урока про спектральную теорему. Это будет через три урока.

Зачем это в оптимизации

Оба главных метода оптимизации — это буквально Тейлор:

• градиентный спуск обрывает разложение на первом порядке и делает шаг против наклона. Ограничение шага снизу берётся из того, что линейная модель верна лишь локально;
• метод Ньютона оставляет второй порядок, минимизирует получившуюся параболу точно и прыгает в её вершину. Сходится быстрее, но требует гессиана.

Формула шага Ньютона получается прямо из разложения: минимум $f(x) + f'(x)h + \tfrac12 f''(x)h^2$ по $h$ достигается при $h = -f'(x)/f''(x)$. В многомерном виде это $-H^{-1}\nabla f$, и вся причина, по которой в глубоком обучении так не делают, — стоимость $H^{-1}$.

Практическая осторожность

Разложение Тейлора — локальное утверждение. Ряд может сходиться в маленьком круге, а вне него не значить ничего: попробуйте $\ln(1+x)$ в графике выше и отведите точку к $x = -1$.

Отсюда практическое правило: любое рассуждение вида «разложим и оставим первый член» верно, пока шаг мал. Learning rate — это в точности параметр «насколько мы доверяем локальной модели», и его выбор сводится к этому вопросу.