Производные функций активации

Экспонента и логарифм

$\frac{d}{dx}e^x = e^x, \qquad \frac{d}{dx}\ln x = \frac{1}{x}$

Первое — определяющее свойство экспоненты: единственная функция, равная своей производной (с точностью до множителя). Из него следует и всё остальное про неё.

Для машинного обучения важнее производная логарифма, потому что в лоссах почти всегда стоит $\log$. Обратите внимание на $1/x$: при малом $x$ производная огромна. Именно поэтому $\log p$ при $p \to 0$ ведёт себя численно плохо, и существует log_softmax вместо log(softmax(x)).

Сигмоида

$$\htmlData{k=s}{\sigma(x) = \frac{1}{1 + e^{-x}}}, \qquad \htmlData{k=d}{\sigma'(x) = \sigma(x)\bigl(1 - \sigma(x)\bigr)}$$

Формула производной через саму функцию — не красивое совпадение, а причина, по которой сигмоида пережила десятилетия: при обратном проходе значение $\sigma(x)$ уже посчитано на прямом, и производная берётся бесплатно.

Вывести стоит один раз самому: $\sigma = (1 + e^{-x})^{-1}$, по правилу цепочки $\sigma' = -(1+e^{-x})^{-2} \cdot (-e^{-x}) = \frac{e^{-x}}{(1+e^{-x})^2}$, а дальше заметить, что это и есть $\sigma(1-\sigma)$.

Максимум производной — в нуле, и он равен $1/4$. Это уже сигнал проблемы: множитель $\le 0.25$ на каждом слое означает, что через десять слоёв градиент ослабнет как минимум в $4^{10} \approx 10^6$ раз. Так выглядит затухание градиента, и это арифметика, а не мистика.

Гиперболический тангенс

$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}, \qquad \tanh'(x) = 1 - \tanh^2(x)$

Та же структура: производная через саму функцию. Максимум производной равен $1$ — вчетверо больше, чем у сигмоиды, — и функция центрирована в нуле. Оба свойства делают $\tanh$ предпочтительнее сигмоиды для скрытых слоёв, и именно поэтому сигмоида осталась только там, где нужна вероятность на выходе.

Сравните графики и их производные — переключатель графика производной для этого и нужен:

сигмоидаtanhReLUeˣ

x

0.6

f(x)

0.65

f'(x)

0.23

касательная секущая парабола Тейлора график f'

ReLU и её точка излома

$\mathrm{ReLU}(x) = \max(0, x)$

Производная равна $0$ при $x < 0$ и $1$ при $x > 0$. В нуле производной не существует — ровно как у $|x|$ из прошлого урока: слева наклон $0$, справа $1$.

Что делают библиотеки: возвращают $0$. Это соглашение, а не вычисление, и знать об этом стоит по двум причинам.

Первая: в ноль попадают ровно с нулевой вероятностью на реальных данных, поэтому практического значения выбор почти не имеет. Вторая: значение имеет то, что градиент равен нулю на всей отрицательной полуоси. Нейрон, ушедший в отрицательную зону для всех входов, перестаёт обучаться навсегда — «мёртвый ReLU». Отсюда LeakyReLU, GELU и прочие сглаженные варианты: они возвращают ненулевой градиент влево.

Формально ReLU не дифференцируема, но субдифференцируема, и градиентный спуск на таких функциях работает. Строгую теорию субградиентов план сознательно пропускает — достаточно знать, что происходящее законно.

Таблица, которую стоит держать в голове

$f$	$f'$	что помнить
$e^x$	$e^x$	равна своей производной
$\ln x$	$1/x$	взрывается при $x \to 0$
$x^n$	$nx^{n-1}$	степень падает на единицу
$\sigma(x)$	$\sigma(1-\sigma)$	максимум $1/4$
$\tanh x$	$1 - \tanh^2$	максимум $1$
$\mathrm{ReLU}$	$0$ или $1$	в нуле не определена

Через все производные активаций проходит одна мысль: множитель, который слой вносит в градиент, определяет, выживет ли сигнал после десятка слоёв. Здесь мы смотрим на неё одномерно; в блоке 6 то же самое станет разговором про инициализацию и остаточные связи.