Дискретные распределения

Бернулли: одно испытание

$P(X = 1) = p, \qquad P(X = 0) = 1 - p$

$E[X] = p, \qquad \operatorname{Var}(X) = p(1-p)$

Ожидание совпадает с $p$ по определению, а дисперсия максимальна при $p = 0.5$ и равна $0.25$ — та же парабола $t(1-t)$, что была максимумом производной сигмоиды в блоке 2. Совпадение не случайно: сигмоида и есть параметризация вероятности Бернулли, а её производная — дисперсия.

Отсюда и практическое следствие: бинарная классификация ближе всего к решению там, где модель наименее уверена, и именно там градиент максимален.

Биномиальное: сумма испытаний

$P(X = k) = \binom{n}{k}p^k(1-p)^{n-k}, \qquad E[X] = np, \qquad \operatorname{Var}(X) = np(1-p)$

Число успехов в $n$ независимых испытаниях. Ожидание выводится линейностью — сумма $n$ бернуллиевских слагаемых, — а дисперсия требует независимости, потому что иначе появились бы ковариации.

Биномиальный коэффициент в коде считать через факториалы не нужно: $n!$ переполняет double уже при $n = 171$. Умножайте нарастающим произведением $\prod_{i<k} \frac{n-i}{i+1}$ или считайте в log-пространстве. Это тот же приём, что в блоке 6 будет называться вычислениями в log-space.

Категориальное и мультиномиальное

Категориальное — обобщение Бернулли на $K$ исходов: вектор вероятностей $\boldsymbol{\pi}$ с $\sum_k \pi_k = 1$. Именно это распределение выдаёт softmax, и именно с ним сравнивается ответ в кросс-энтропии.

Стоит отметить, что из-за нормировки у категориального распределения $K-1$ свободных параметров, а не $K$ — та же лишняя степень свободы, которую мы видели как инвариантность softmax к сдвигу.

Мультиномиальное — сколько раз каждый исход встретился за $n$ испытаний. Биномиальное это его частный случай при $K = 2$. Встречается в bag-of-words моделях и в наивном Байесе для текстов.

Пуассона: редкие события

$P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \qquad E[X] = \operatorname{Var}(X) = \lambda$

Число событий за фиксированный интервал, когда события независимы и происходят с постоянной интенсивностью. Отличительная примета — равенство среднего и дисперсии.

Это равенство делает распределение проверяемым: если в данных дисперсия заметно больше среднего (overdispersion), пуассоновская модель неадекватна, и берут отрицательное биномиальное. Такая диагностика по одному числу — редкая роскошь.

Пуассона получается как предел биномиального при $n \to \infty$, $p \to 0$, $np \to \lambda$. Проверьте: возьмите биномиальное с $n = 30$ и малым $p$, потом Пуассона с $\lambda = np$, и сравните формы.

БернуллибиномиальноеПуассона

p

0.3

вероятности P(X = k)

F(x) = P(X ≤ x)

отметка k

0.5

E[X]

0.3

Var(X)

0.21

P(X ≤ k)

0.7

Переключитесь между биномиальным ($n = 30$, $p = 0.1$) и Пуассона ($\lambda = 3$): столбики почти совпадают. Дисперсии при этом различаются — $2.7$ против $3$, и множитель $(1-p)$ показывает, насколько приближение недооценивает разброс.

Сводка

распределение	что моделирует	среднее	дисперсия
Бернулли($p$)	одно да/нет	$p$	$p(1-p)$
Бином($n,p$)	число успехов	$np$	$np(1-p)$
Категориальное($\boldsymbol{\pi}$)	один из $K$	—	—
Мультиномиальное	счётчики по $K$	$n\pi_k$	$n\pi_k(1-\pi_k)$
Пуассона($\lambda$)	редкие события	$\lambda$	$\lambda$

Где это в машинном обучении

• Бернулли — бинарная классификация; логистическая регрессия это MLE для неё, и мы выведем это в уроке про MLE;
• категориальное — многоклассовая классификация, выход softmax, и распределение следующего токена в языковой модели;
• мультиномиальное — bag-of-words, наивный Байес для текста;
• Пуассона — счётные данные: клики, отказы, число событий в окне.

Общая мысль, к которой вернёмся в уроке про экспоненциальное семейство: все эти распределения — члены одного семейства, и потому все связанные с ними лоссы имеют одинаковую структуру. Кросс-энтропия для Бернулли и для категориального — не два разных изобретения, а одна формула.