Дисперсия, ковариация и ковариационная матрица

Дисперсия: разброс в квадрате единиц

$\operatorname{Var}(X) = E[(X - \mu)^2], \qquad \operatorname{sd}(X) = \sqrt{\operatorname{Var}(X)}$

Дисперсия измеряется в квадрате единиц исходной величины, поэтому для интерпретации берут корень. Отсюда и разное поведение при масштабировании:

$\operatorname{Var}(aX + b) = a^2\operatorname{Var}(X), \qquad \operatorname{sd}(aX + b) = |a|\operatorname{sd}(X)$

Сдвиг $b$ не влияет ни на то, ни на другое — разброс не зависит от того, где находится центр.

Ковариация

$$\htmlData{k=cov}{\operatorname{Cov}(X, Y) = E[(X - \mu_X)(Y - \mu_Y)]} = \htmlData{k=work}{E[XY] - E[X]E[Y]}$$

Знак говорит о направлении связи: положительная ковариация означает, что величины отклоняются от своих средних в одну сторону. Дисперсия — частный случай: $\operatorname{Var}(X) = \operatorname{Cov}(X, X)$.

Теперь дисперсия суммы в общем виде:

$\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2\operatorname{Cov}(X, Y)$

Знакомое «дисперсии складываются» — это частный случай при нулевой ковариации. Стоит запомнить именно общую формулу: перекрёстный член исчезает только при некоррелированности.

Корреляция: ковариация без единиц

$\rho(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\operatorname{sd}(X)\operatorname{sd}(Y)} \in [-1, 1]$

Сравните с косинусом угла из блока 1: $\cos\theta = \langle x, y\rangle / (\|x\|\|y\|)$. Это та же формула, и не по аналогии. Ковариация — это скалярное произведение на пространстве центрированных случайных величин, дисперсия — квадрат нормы, а ограничение $|\rho| \le 1$ есть неравенство Коши–Буняковского. Некоррелированность буквально означает ортогональность.

Отсюда и предел: $|\rho| = 1$ достигается ровно при линейной зависимости — то есть когда векторы коллинеарны.

Некоррелированность — не независимость

Корреляция видит только линейную связь. Классический контрпример: $X$ симметрична относительно нуля, $Y = X^2$. Тогда

$\operatorname{Cov}(X, X^2) = E[X^3] - E[X]E[X^2] = 0 - 0 = 0$

потому что у симметричного распределения все нечётные моменты нулевые. Величины некоррелированы и при этом связаны настолько жёстко, насколько возможно: зная $X$, вы знаете $Y$ точно.

Независимость влечёт некоррелированность, обратное неверно. Единственное исключение — совместно гауссовский случай: для него нулевая корреляция действительно даёт независимость. Именно поэтому в гауссовских моделях позволяют себе не различать эти понятия, а вне них — нельзя.

Ковариационная матрица

Для вектора $\mathbf{X} \in \R^n$:

$\Sigma_{ij} = \operatorname{Cov}(X_i, X_j), \qquad \Sigma = E\bigl[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^\top\bigr]$

Два свойства, из которых следует всё остальное:

• симметричность, потому что $\operatorname{Cov}(X_i, X_j) = \operatorname{Cov}(X_j, X_i)$;
• неотрицательная определённость: для любого $\mathbf{a}$ верно $\mathbf{a}^\top\Sigma\mathbf{a} = \operatorname{Var}(\mathbf{a}^\top\mathbf{X}) \ge 0$, ведь дисперсия не бывает отрицательной.

Второе — самый короткий вывод определённости, какой есть, и он объясняет, почему она возникает: квадратичная форма от $\Sigma$ это дисперсия проекции.

А значит применимо всё из блока 1: спектральная теорема даёт ортонормированный базис собственных векторов, собственные значения неотрицательны, и матрица раскладывается как $\Sigma = Q\Lambda Q^\top$. Собственные векторы — главные оси разброса, то есть PCA; собственные значения — дисперсии вдоль них.

Изолинии двумерной гауссианы — это в точности эллипсы, оси которых суть собственные векторы $\Sigma$. Пунктирные линии на картинке — они и есть:

σₓ

1

σᵥ

0.7

ρ

0.6

условное распределение

sd(X)

1

Что стоит проверить на виджете:

1. Выставьте $\rho = 0$: эллипс встанет по осям, $\Sigma$ станет диагональной.
2. Включите условное распределение и подвигайте срез. Красная кривая ездит вместе с ним, а её ширина не меняется — условная дисперсия от положения среза не зависит.
3. Сравните ширину условной кривой с маргинальной (зелёной). Условная всегда уже: знание $Y$ уменьшает неопределённость в $X$.
4. Доведите $\rho$ почти до единицы: эллипс превратится в отрезок, а условная кривая станет очень узкой.

Условное распределение гауссианы

Формулы, которые виджет и показывает (при нулевых средних):

$E[X \mid Y = y] = \rho\,\frac{\sigma_X}{\sigma_Y}\,y, \qquad \operatorname{Var}(X \mid Y = y) = \sigma_X^2\,(1 - \rho^2)$

Три наблюдения, каждое из которых существенно:

• условное распределение снова гауссовское — семейство замкнуто относительно обусловливания, и именно это делает гауссовские модели удобными;
• условное среднее линейно по $y$ — отсюда линейная регрессия как условное ожидание;
• условная дисперсия не зависит от $y$. Уменьшение неопределённости одинаково, какое бы значение вы ни узнали, — и множитель $(1-\rho^2)$ показывает, насколько.

Последний пункт объясняет, почему $\rho^2$ называют долей объяснённой дисперсии: при $\rho = 0.6$ остаётся $1 - 0.36 = 64\%$ исходной дисперсии.