Словарь теории меры

Зачем вообще

Теория меры нужна не для того, чтобы переписать вероятность строго. Она нужна, потому что без неё часть утверждений в статьях по машинному обучению просто не читается: «$p$ и $q$ имеют общий носитель», «сходится почти наверное», «$\log \frac{dP}{dQ}$». Это не украшения — в каждом случае за словом стоит условие, при нарушении которого формула перестаёт работать.

Цель урока скромная: не построить теорию, а перевести шесть выражений на язык, на котором с ними можно работать.

$P(X = x) = 0$ у непрерывной величины

Самый частый камень преткновения. Если $X$ непрерывна, то $P(X = 0.5) = 0$ — и это не значит «невозможно».

Разрешается противоречие тем, что «невозможно» и «имеет нулевую вероятность» — разные утверждения. Невозможное событие — пустое множество. А вот отрезок $[0,1]$ содержит несчётно много точек, и если бы каждая имела вероятность $\varepsilon > 0$, сумма превысила бы единицу для любого $\varepsilon$. Значит, каждая обязана иметь ноль, хотя одна из них непременно случится.

Увидеть разницу можно на CDF: у дискретной величины она лестница, и высота скачка в точке равна $P(X = k)$; у непрерывной — непрерывная кривая, и скачков нет вовсе. Переключайте семейства в виджете и следите за нижним графиком.

Бернулли (дискретное)биномиальное (дискретное)равномерное (непрерывное)нормальное (непрерывное)Бета (непрерывное)

p

0.35

вероятности P(X = k)

F(x) = P(X ≤ x) — есть ли скачки?

отметка x

0.5

среднее

0.35

дисперсия

0.227

P(X ≤ x)

0.65

Практическое следствие, которое вылезает в коде: непрерывная модель никогда не выдаёт «вероятность наблюдения». Вопрос «какова вероятность, что моя модель предсказала именно $y = 3.7$» некорректен; корректен вопрос о плотности в точке или о вероятности интервала. Отсюда и то, что log-likelihood непрерывной модели бывает положительным (мы это видели на MSE), тогда как у дискретной он всегда отрицателен.

Почти наверное

$$\htmlData{k=as}{X_n \to X \ \text{п.н.}} \iff P\big(\htmlData{k=zero}{\{\omega : X_n(\omega) \not\to X(\omega)\}}\big) = 0$$

Почти наверное (a.s., «почти всюду» для мер) значит: исключения возможны, но их совокупность имеет нулевую вероятность.

Три места, где это слово несёт смысл:

• ЗБЧ: $\bar{X}_n \to \mu$ почти наверное. Существуют последовательности бросков, где среднее не сходится (например, все орлы) — их множество непусто, но его мера равна нулю;
• функции равны п.в.: две плотности, различающиеся в одной точке, задают одно и то же распределение. Поэтому плотность определена не однозначно, а с точностью до множества нулевой меры;
• ReLU дифференцируема п.в.: излом в нуле — одна точка, и вероятность попасть в неё ровно нулевая. Это и есть строгое оправдание того, что автоград назначает $\text{ReLU}'(0)$ произвольно и ничего не ломается.

Носитель

Носитель — множество, где плотность не равна нулю: $\text{supp}(p) = \{x : p(x) > 0\}$.

Условие «носитель $q$ содержит носитель $p$» встречается постоянно, и всегда по одной причине: если $q(x) = 0$ там, где $p(x) > 0$, то отношение $p/q$ там не определено, а $\text{KL}(p \| q) = \infty$.

задача	что требуется
importance sampling	$\text{supp}(q) \supseteq \text{supp}(f \cdot p)$, иначе оценка смещена
$\text{KL}(p \| q)$	$\text{supp}(q) \supseteq \text{supp}(p)$, иначе бесконечность
off-policy RL	$\pi(a \mid s) > 0 \Rightarrow \mu(a \mid s) > 0$, иначе отношение неопределено
нормализующие потоки	преобразование обратимо на носителе

Отсюда сугубо практическое правило: предложение всегда шире цели. Гауссиана с запасом по $\sigma$, распределение с тяжёлыми хвостами, политика с $\varepsilon$-шумом — всё это способы обеспечить покрытие носителя, и все они стоят части эффективности. Обратная ошибка бесплатной не бывает.

Производная Радона–Никодима

$\frac{dP}{dQ}$ — это «отношение плотностей», записанное так, чтобы не выбирать базовую меру. Когда обе меры имеют плотности относительно одной и той же базовой (обычно Лебега или счётной), это буквально

$\frac{dP}{dQ}(x) = \frac{p(x)}{q(x)}$

Существует эта производная тогда, когда $P$ абсолютно непрерывна относительно $Q$ ($P \ll Q$), то есть $Q(A) = 0 \Rightarrow P(A) = 0$ — тот же самый разговор про носитель, произнесённый на языке мер.

Где вы это уже видели, не зная названия:

• вес importance sampling $w = p/q$ — это $\frac{dP}{dQ}$;
• $\text{KL}(P \| Q) = \mathbb{E}_P\!\left[\log \frac{dP}{dQ}\right]$ — блок 4;
• отношение вероятностей политик в PPO — тоже она;
• логарифм этого отношения в normalizing flows складывается по слоям.

То есть одно понятие обслуживает четыре разных сюжета курса, и запись через $d$ означает лишь «отношение мер, без привязки к тому, чем мы их измеряем».

Измеримое множество и борелевские

Два слова, которые встречаются в формулировках теорем и почти никогда — в выводах. Знать их стоит ровно настолько, чтобы фраза не останавливала чтение.

$\sigma$-алгебра $\mathcal{F}$ — это набор подмножеств $\Omega$, которому мы согласились приписывать вероятность: он содержит само $\Omega$ и замкнут относительно дополнения и счётного объединения. Элементы $\mathcal{F}$ и называются измеримыми множествами, они же события. Слово «счётного» здесь несёт всю нагрузку: именно оно позволяет говорить о пределах последовательностей событий — а без пределов нет ни ЗБЧ, ни сходимости почти наверное из этого урока.

Борелевская $\sigma$-алгебра на $\mathbb{R}$ — наименьшая $\sigma$-алгебра, содержащая все интервалы; её элементы и есть борелевские множества. Практически это значит: любой интервал, любое открытое и любое замкнутое множество, любое их счётное объединение или пересечение — борелевское. Придумать неборелевское множество, не привлекая аксиому выбора, нельзя, и это ровно то, что имеется в виду, когда теорему формулируют «для всякого борелевского $B$»: оговорка есть, но исключить она может лишь то, что вы всё равно никогда не напишете.

Здесь же становится понятно, зачем в блоке 0 отдельно разбирался прообраз. Случайная величина — это функция $X : \Omega \to \mathbb{R}$, измеримая в том смысле, что

$X^{-1}(B) = \{\omega : X(\omega) \in B\} \in \mathcal{F} \quad \text{для любого борелевского } B$

То есть требование ровно одно: у вопроса «попало ли $X$ в $B$» обязана быть вероятность. Запись $P(X \le x)$, с которой начинается CDF, законна именно поэтому — $(-\infty, x]$ борелевский, значит его прообраз измерим. Никакая функция, встречающаяся в машинном обучении, этого условия не нарушает.

Чего мы не делаем

Ради честности: построение меры Лебега, интеграл Лебега и доказательства теорем о сходимости здесь не понадобятся, и мы их пропускаем сознательно. Стоит знать только, зачем эта техника существует — чтобы «вероятность» была определена согласованно на бесконечных пространствах и чтобы не возникало множеств, которым нельзя приписать меру (парадокс Банаха–Тарского — про это). Ни одна конструкция машинного обучения не требует работать с этим напрямую; требуется ровно словарь этого урока.