Непрерывные распределения

Равномерное

$p(x) = \frac{1}{b-a} \ \text{ на } [a,b], \qquad E[X] = \frac{a+b}{2}, \qquad \operatorname{Var}(X) = \frac{(b-a)^2}{12}$

Простейшее и самое полезное как строительный блок: генератор случайных чисел выдаёт $U(0,1)$, а из него получают всё остальное. Метод обратной CDF из урока про сэмплирование опирается именно на это.

Множитель $1/12$ в дисперсии обычно вызывает недоумение. Он берётся из интеграла $\int_{-1/2}^{1/2} t^2\,dt = 1/12$ — просто константа геометрии отрезка.

Нормальное

$$p(x) = \htmlData{k=norm}{\frac{1}{\sigma\sqrt{2\pi}}}\,\exp\!\left(\htmlData{k=exp}{-\frac{(x-\mu)^2}{2\sigma^2}}\right)$$

Всё содержание — в показателе: квадрат отклонения от центра, отнесённый к дисперсии. Нормировка — техническая константа, и в выкладках её почти всегда прячут в $\propto$.

Три причины, по которым нормальное распределение доминирует:

1. ЦПТ: суммы независимых величин сходятся к нему почти независимо от того, что суммируется. Урок про предельные теоремы — об этом.
2. Замкнутость: сумма гауссиан гауссовская, маргинал гауссианы гауссовский, условное распределение гауссианы гауссовское. Ни одно другое семейство не так удобно.
3. Максимум энтропии при заданной дисперсии — то есть это наименее информативное предположение, если известен только разброс. Вернёмся к этому в блоке 4.

Правило $2\sigma$ / $3\sigma$: внутри двух стандартных отклонений лежит около $95.4\%$ вероятности, внутри трёх — около $99.7\%$. Проверьте отметкой на виджете: поставьте $\mu = 0$, $\sigma = 1$ и найдите $x = 2$ — CDF даст примерно $0.977$, то есть $2.3\%$ в правом хвосте.

Экспоненциальное

$p(x) = \lambda e^{-\lambda x} \ (x \ge 0), \qquad E[X] = \frac{1}{\lambda}, \qquad \operatorname{Var}(X) = \frac{1}{\lambda^2}$

Время до события при постоянной интенсивности — непрерывный напарник распределения Пуассона. Отличительное свойство — отсутствие памяти:

$P(X > s + t \mid X > s) = P(X > t)$

Прождав час, вы не приблизились к событию: остаточное время распределено так же, как исходное. Это единственное непрерывное распределение с таким свойством, и именно оно делает экспоненциальное удобным в моделях отказов и в марковских процессах — а также подозрительным как модель реального ожидания, где память обычно есть.

Бета и Дирихле — обзорно

Бета живёт на $[0,1]$, а значит годится как распределение самой вероятности:

$p(x) \propto x^{\alpha-1}(1-x)^{\beta-1}, \qquad E[X] = \frac{\alpha}{\alpha+\beta}$

Она сопряжена к Бернулли: если prior это $\text{Beta}(\alpha, \beta)$, а наблюдали $s$ успехов и $f$ неудач, то posterior это $\text{Beta}(\alpha + s, \beta + f)$. Обновление сводится к прибавлению счётчиков — никаких интегралов.

Отсюда и трактовка параметров как «псевдонаблюдений»: $\text{Beta}(1,1)$ равномерно и означает «ничего не знаю», $\text{Beta}(2,2)$ — «видел по одному исходу каждого вида». Сглаживание Лапласа (прибавить единицу к счётчикам) — это буквально $\text{Beta}(1,1)$ prior, и в уроке про MAP мы это увидим.

Дирихле — обобщение на $K$ исходов, сопряжённое к категориальному. Ту же роль играет в тематических моделях и всюду, где нужно распределение над вектором вероятностей.

нормальноеравномерноеэкспоненциальноеБета

μ

0

σ

1

плотность p(x)

F(x) = P(X ≤ x)

отметка x

0

E[X]

0

Var(X)

1

P(X ≤ x)

0.5

Поэкспериментируйте с Бета: начните с $\alpha = \beta = 1$ (плоское) и увеличивайте $\alpha$ — распределение съезжает вправо и сужается. Так выглядит накопление свидетельств в пользу успеха.

Сводка

распределение	носитель	среднее	дисперсия
$U(a,b)$	$[a,b]$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
$\mathcal{N}(\mu,\sigma^2)$	$\R$	$\mu$	$\sigma^2$
$\text{Exp}(\lambda)$	$[0,\infty)$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
$\text{Beta}(\alpha,\beta)$	$[0,1]$	$\frac{\alpha}{\alpha+\beta}$	$\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$

Носитель — это то, на что стоит смотреть первым при выборе распределения. Модель, приписывающая ненулевую вероятность отрицательному времени ожидания, неверна вне зависимости от того, насколько хорошо она подогнана.