Экспоненциальное семейство

Общий вид

$$p(x \mid \boldsymbol{\eta}) = h(x)\exp\!\bigl(\htmlData{k=eta}{\boldsymbol{\eta}}^\top \htmlData{k=T}{T(x)} - \htmlData{k=A}{A(\boldsymbol{\eta})}\bigr)$$

Почти все знакомые распределения — члены этого семейства: Бернулли, категориальное, биномиальное, Пуассона, нормальное, экспоненциальное, Бета, Дирихле, гамма. Не входят, например, смеси и распределение Стьюдента.

Три части, каждая со своей ролью. Естественный параметр $\boldsymbol{\eta}$ — это то, что в моделях предсказывают линейно: логит. Достаточная статистика $T(x)$ — единственное, что данные сообщают о параметре. Log-нормировка $A(\boldsymbol{\eta})$ отвечает за нормировку и, как выяснится, за средние.

Бернулли: откуда берётся логит

Возьмём $p(x) = \theta^x(1-\theta)^{1-x}$ и перепишем через экспоненту:

$p(x) = \exp\Bigl(x\log\theta + (1-x)\log(1-\theta)\Bigr) = \exp\Bigl(x\underbrace{\log\tfrac{\theta}{1-\theta}}_{\eta} + \log(1-\theta)\Bigr)$

Естественный параметр оказался равен $\log\frac{\theta}{1-\theta}$ — это логит. А обратное преобразование $\theta = \frac{1}{1+e^{-\eta}}$ — сигмоида.

Вот и ответ на вопрос, почему в логистической регрессии стоит именно сигмоида. Не «удобная функция, сжимающая в $(0,1)$», а обратное отображение к естественному параметру Бернулли. Для категориального распределения то же вычисление даёт softmax.

Три свойства, которые всё объясняют

Производная log-нормировки даёт среднее:

$\nabla_{\boldsymbol{\eta}} A(\boldsymbol{\eta}) = E[T(x)], \qquad \nabla^2_{\boldsymbol{\eta}} A(\boldsymbol{\eta}) = \operatorname{Cov}[T(x)]$

Отсюда сразу следует, что $A$ выпукла (гессиан — ковариационная матрица, а она неотрицательно определена), а значит правдоподобие в естественной параметризации имеет единственный максимум. Именно поэтому логистическая регрессия не имеет локальных минимумов, в отличие от нейросети.

Градиент log-правдоподобия — это «предсказание минус наблюдение»:

$\nabla_{\boldsymbol{\eta}} \log p(x \mid \boldsymbol{\eta}) = T(x) - E[T(x)]$

Сравните с выводом из блока 2, где градиент кросс-энтропии оказался $\mathbf{p} - \mathbf{y}$. Это не совпадение и не удача конкретной выкладки: так устроено всё семейство. Кросс-энтропия для Бернулли, для категориального, для Пуассона — одна формула с разными $T$.

Сопряжённый prior существует всегда и имеет ту же экспоненциальную форму. Отсюда и Бета для Бернулли, и Дирихле для категориального из прошлых уроков.

Softmax как параметризация категориального

Для категориального распределения с $K$ исходами естественные параметры — логиты, а обратное преобразование это softmax:

$\pi_k = \frac{e^{\eta_k}}{\sum_j e^{\eta_j}}$

Инвариантность к сдвигу, которую мы видели в блоке 2, теперь получает объяснение: из-за ограничения $\sum_k \pi_k = 1$ у распределения $K-1$ свободных параметров, а логитов $K$. Одна степень свободы лишняя — и сдвиг всех логитов её и параметризует.

η 1

1.5

59.8%

η 2

0.5

22.0%

η 3

0

13.3%

η 4

-1

4.9%

сдвиг всех η

0

температура

1

сумма

1

наибольшая

59.8%

строка якобиана

Включите строку якобиана: диагональ $p_i(1-p_i)$ и внедиагональные $-p_ip_j$ — это в точности ковариационная матрица one-hot вектора. То есть якобиан softmax и есть $\nabla^2 A$, и его неотрицательная определённость — та же выпуклость.

Обобщённые линейные модели

Отсюда рецепт, покрывающий половину классической статистики: выберите распределение из семейства, предсказывайте его естественный параметр линейно ($\eta = \mathbf{w}^\top\mathbf{x}$), обучайте по максимуму правдоподобия.

данные	распределение	функция связи	что получилось
да/нет	Бернулли	сигмоида	логистическая регрессия
один из $K$	категориальное	softmax	многоклассовая логистическая
счётчики	Пуассона	экспонента	пуассоновская регрессия
вещественные	нормальное	тождественная	обычная линейная регрессия

Все четыре — один алгоритм. Функция потерь каждый раз одна и та же (минус log-правдоподобие), градиент каждый раз имеет вид «предсказание минус наблюдение», и оптимизация каждый раз выпукла. Это ровно та экономия, ради которой стоит знать про экспоненциальное семейство: четыре метода превращаются в один с параметром.