Производная как линейная аппроксимация

Определение, из которого всё следует

Обычное определение — предел разностного отношения:

$f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}$

Оно верное, но плохо переносится на многомерный случай: делить на вектор нельзя. Полезнее эквивалентная формулировка через приближение.

$$f(x + h) = \htmlData{k=f}{f(x)} + \htmlData{k=lin}{f'(x)\,h} + \htmlData{k=rest}{o(h)}$$

Читается так: линейная часть приращения — это $f'(x)h$, а остаток стремится к нулю быстрее самого $h$. Производная — это тот единственный коэффициент, при котором так получается.

Такая формулировка переносится дословно: в многомерном случае вместо числа $f'(x)$ будет матрица, а деления нигде нет. Именно поэтому здесь стоит потратить время на смену точки зрения.

Секущая становится касательной

Разностное отношение — наклон секущей через точки $x$ и $x+h$. Производная — предел этих наклонов. Включите секущую и уменьшайте зазор:

x²x³sin x|x|

x

0.8

f(x)

0.64

f'(x)

1.6

касательная секущая парабола Тейлора график f'

Обратите внимание на $|x|$: производная существует не всегда. Слева и справа наклоны разные, значит единой линейной аппроксимации нет. Это ровно та ситуация, которая позже возникнет с ReLU.

Правила

Три правила, из которых собирается всё остальное:

• произведение: $(fg)' = f'g + fg'$
• частное: $\left(\frac{f}{g}\right)' = \frac{f'g - fg'}{g^2}$
• цепочка: $(f \circ g)'(x) = f'(g(x))\, g'(x)$

Правило цепочки — самое важное во всём блоке. Смысл: коэффициенты линейных приближений перемножаются. Если внутренняя функция растягивает приращение в $g'$ раз, а внешняя — ещё в $f'$ раз, суммарное растяжение есть произведение.

Именно из этого и вырастет backprop, где перемножаются матрицы вместо чисел.

Предел и непрерывность — на уровне интуиции

Формальные $\varepsilon$–$\delta$ в этом плане не нужны, но словарь нужен.

Предел $\lim_{x \to a} f(x) = L$ означает: значения $f$ подходят к $L$ как угодно близко, если $x$ достаточно близко к $a$. Про саму точку $a$ утверждение ничего не говорит — и именно поэтому предел разностного отношения имеет смысл, хотя в $h = 0$ дробь не определена.

Непрерывность в точке — это $\lim_{x \to a} f(x) = f(a)$: предел существует и совпадает со значением.

Связь односторонняя и её стоит помнить: дифференцируемость влечёт непрерывность, но не наоборот. $|x|$ непрерывна в нуле и не дифференцируема — это и есть контрпример.

Условие первого порядка

Если $x^*$ — точка локального экстремума и $f$ дифференцируема, то $f'(x^*) = 0$.

Причина понятна из линейной аппроксимации: при $f'(x^*) \ne 0$ линейная часть $f'(x^*)h$ меняет знак вместе с $h$, значит в одну сторону функция растёт, в другую убывает — экстремума нет.

Обратное неверно. У $x^3$ в нуле производная равна нулю, а экстремума нет — переключитесь на неё в графике выше и убедитесь. Такие точки называются критическими, и разбираться, что в них происходит, будет вторая производная.

Вся оптимизация в блоке 5 — это поиск точек, где градиент равен нулю. Стоит уже здесь усвоить, что это условие необходимое, но не достаточное.