Случайные величины, CDF и плотность

Случайная величина — это функция

Определение, которое стоит принять буквально: случайная величина это функция $X : \Omega \to \R$. Она приписывает каждому исходу число.

Ничего случайного в самой функции нет — случаен аргумент. «Сумма двух кубиков» это детерминированное правило $\omega \mapsto \omega_1 + \omega_2$; случайность живёт в том, какой $\omega$ выпал. Такая точка зрения объясняет запись $P(X \le 3)$: это сокращение для $P(\{\omega : X(\omega) \le 3\})$ — вероятность события, то есть множества исходов, как в первом уроке.

Отсюда и обозначения: заглавная $X$ — сама величина (функция), строчная $x$ — конкретное значение. Путать их — источник половины непонимания в формулах.

CDF: то, что определено всегда

$$\htmlData{k=F}{F_X(x)} = P(\htmlData{k=ev}{X \le x})$$

CDF существует у любой случайной величины — дискретной, непрерывной или смешанной. Её свойства: не убывает, стремится к нулю слева и к единице справа. Всё.

Именно поэтому теория формулируется через CDF, а не через плотность: плотность существует не всегда, а CDF — всегда.

Дискретный случай: PMF

Если $X$ принимает не более чем счётное число значений, задать её можно массой: $p(x) = P(X = x)$. Тогда $\sum_x p(x) = 1$, а CDF получается суммированием и выглядит лестницей — со скачками в точках, несущих вероятность.

Высота скачка и есть $P(X = x)$. Это стоит запомнить, потому что в непрерывном случае скачков не будет вовсе.

Непрерывный случай: PDF

Здесь начинается то, из-за чего плотность понимают неправильно. Задаётся плотность $p(x)$, а вероятности получаются интегрированием:

$P(a \le X \le b) = \int_a^b p(x)\,dx, \qquad \int_{-\infty}^{\infty} p(x)\,dx = 1$

Два следствия, и оба контринтуитивны.

$P(X = x) = 0$ для любой точки. Интеграл по отрезку нулевой длины равен нулю. Это не значит «невозможно» — значит «имеет нулевую вероятность». Точка на отрезок куда-то же попадает, но вероятность попасть именно туда нулевая. В CDF это видно как отсутствие скачков: непрерывная CDF — гладкий подъём, а не лестница.

Плотность может быть больше единицы. Плотность это не вероятность, а вероятность на единицу длины. У равномерного распределения на $[0, 0.1]$ плотность равна $10$ — и никакого противоречия нет, потому что интеграл по отрезку длины $0.1$ даёт единицу.

Убедитесь сами: выберите равномерное распределение и сожмите его в узкий интервал — кривая плотности уедет вверх, а CDF по-прежнему дойдёт ровно до единицы.

БернуллибиномиальноеравномерноенормальноеэкспоненциальноеБета

p

0.3

вероятности P(X = k)

F(x) = P(X ≤ x)

отметка x

0.5

среднее

0.3

дисперсия

0.21

P(X ≤ x)

0.7

Дискретное против непрерывного: сводка

	дискретная	непрерывная
задаётся	массой $p(x) = P(X=x)$	плотностью $p(x)$
нормировка	$\sum_x p(x) = 1$	$\int p(x)\,dx = 1$
$P(X = x)$	равно $p(x)$	равно нулю
может ли $p(x) > 1$	нет	да
CDF	лестница со скачками	непрерывный подъём

Единственная строка, которую стоит выучить наизусть, — четвёртая. Вопрос «почему плотность больше единицы» задают постоянно, и ответ всегда один: это не вероятность.

Смешанный случай — для полноты

Бывают величины, у которых есть и атомы, и непрерывная часть: например время ожидания, которое с вероятностью $0.3$ равно нулю, а иначе распределено экспоненциально. У такой величины CDF имеет скачок в нуле и растёт непрерывно дальше, а плотности в обычном смысле нет.

Такое встречается в моделях с нулями (zero-inflated), и знать о существовании случая полезно. Аппарат для него — тот же CDF, и это ещё один аргумент за то, что теория строится на нём.