Многомерная гауссиана

Плотность

$$p(\mathbf{x}) = \htmlData{k=norm}{\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}}\exp\!\left(-\tfrac{1}{2}\htmlData{k=maha}{(\mathbf{x}-\boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})}\right)$$

Всё содержание — в квадратичной форме. Нормировка от $\mathbf{x}$ не зависит и в выкладках почти всегда прячется в $\propto$.

Квадратичная форма $(\mathbf{x}-\boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})$ называется квадратом расстояния Махаланобиса. Это буквально скалярное произведение из блока 1 с заменённой метрикой: вместо $\langle x, y\rangle$ взято $\mathbf{x}^\top\Sigma^{-1}\mathbf{y}$. Гауссиана — это «шар» в этой метрике, и изолинии её плотности суть эллипсы, оси которых — собственные векторы $\Sigma$.

Требование к $\Sigma$: положительная определённость. Иначе $\Sigma^{-1}$ не существует, $|\Sigma| = 0$, и нормировка разваливается. Вырожденная гауссиана живёт в подпространстве и требует псевдообратной — тот же приём, что в блоке 1.

σₓ

1

σᵥ

0.6

ρ

0.5

условное распределение

sd(X)

1

Замкнутость — причина всеобщей любви

Гауссовское семейство замкнуто относительно всех операций, которые обычно нужны:

операция	результат
маргинализация $\int p(\mathbf{x}) \, dx_2$	снова гауссиана, просто выбросьте строки и столбцы $\Sigma$
обусловливание $p(\mathbf{x}_1 \mid \mathbf{x}_2)$	снова гауссиана, формулы ниже
сумма независимых	гауссиана с $\mu_1+\mu_2$ и $\Sigma_1+\Sigma_2$
линейное преобразование $A\mathbf{x} + \mathbf{b}$	гауссиана с $A\boldsymbol{\mu}+\mathbf{b}$ и $A\Sigma A^\top$

Маргинализация особенно приятна: чтобы выбросить переменную, достаточно вычеркнуть соответствующие строку и столбец. Никаких интегралов — при том что в общем случае маргинализация это неберущийся интеграл, из-за которого существует весь блок 4.

Последняя строка — та, которой пользуются в репараметризации: $\boldsymbol{\mu} + L\boldsymbol{\varepsilon}$ с $\boldsymbol{\varepsilon} \sim \mathcal{N}(0, I)$ и $LL^\top = \Sigma$ даёт ровно $\mathcal{N}(\boldsymbol{\mu}, \Sigma)$. Разложение Холецкого $L$ — это «корень» из ковариационной матрицы.

Условное распределение

Разбьём вектор на две части. Тогда

$\boldsymbol{\mu}_{1|2} = \boldsymbol{\mu}_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \qquad \Sigma_{1|2} = \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$

Три наблюдения, те же, что в двумерном случае из прошлого урока, но теперь в общем виде:

• условное среднее линейно по наблюдённому $\mathbf{x}_2$ — отсюда линейная регрессия как условное ожидание гауссианы;
• условная ковариация не зависит от $\mathbf{x}_2$ вовсе. Какое бы значение вы ни узнали, неопределённость падает одинаково;
• вычитаемое $\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ неотрицательно определено: обусловливание никогда не увеличивает разброс.

Выражение $\Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$ называется дополнением Шура. Оно же появится в гауссовских процессах, в фильтре Калмана и в блочном обращении матриц.

Где это работает

• гауссовские процессы: предсказание — это условное распределение гауссианы, и формула выше буквально и есть GP-регрессия;
• фильтр Калмана: чередование обусловливания (наблюдение) и линейного преобразования (динамика) — замкнутость гарантирует, что всё остаётся гауссовским;
• VAE: и prior, и приближённый posterior берут гауссовскими ровно потому, что KL между двумя гауссианами считается в закрытой форме;
• диффузия: прямой процесс добавляет гауссовский шум, и сумма гауссиан снова гауссиана — поэтому переход за $t$ шагов известен аналитически, без итераций.

Последний пункт стоит отметить: именно замкнутость относительно суммирования позволяет в DDPM прыгнуть сразу к произвольному шагу $t$, а не идти по одному.