Независимость и условная независимость

Три эквивалентных определения

События $A$ и $B$ независимы, если

$$\htmlData{k=joint}{P(A \cap B)} = \htmlData{k=product}{P(A)\,P(B)}$$

Равносильно (при $P(B) > 0$): $P(A \mid B) = P(A)$. И это формулировка, которую стоит держать главной: знание о $B$ не меняет мнения об $A$.

Симметричность видна из первой формы: если $B$ ничего не сообщает об $A$, то и $A$ ничего не сообщает о $B$. Через условные вероятности это неочевидно, через произведение — сразу.

Проверьте на квадрате из прошлого урока: выставьте чувствительность и частоту ложных срабатываний равными. Тест перестанет различать больных и здоровых, и posterior совпадёт с prior при любом его значении:

H и E: 0.2 ¬H и E: 0.3

P(H)

0.4

P(E|H)

0.5

P(E|¬H)

0.5

P(H)

0.4

P(E)

0.5

P(H|E)

0.4

Разведите ползунки — и posterior немедленно поедет. Независимость это в точности равенство двух условных вероятностей; любое расхождение делает наблюдение информативным.

Что независимость не означает

Три ложных ассоциации, каждая из которых встречается регулярно.

Не «несовместность». Несовместные события ($A \cap B = \varnothing$) как раз максимально зависимы: узнав $A$, вы точно знаете, что $B$ не произошло. Независимые события обязаны пересекаться, если оба имеют положительную вероятность — их пересечение равно $P(A)P(B) > 0$.

Не «отсутствие причинной связи». Независимость — утверждение о числах в конкретном распределении. Зависимость не означает причинности, а независимость не означает её отсутствия: причины могут маскироваться, гася друг друга.

Не «попарная независимость даёт независимость в совокупности». Для трёх и более событий требуется, чтобы произведение работало для всех подмножеств. Бывают события попарно независимые, но не независимые втроём — классический пример с двумя монетами и событием «результаты совпали».

Условная независимость

$A$ и $B$ условно независимы при данном $C$, если

$P(A \cap B \mid C) = P(A \mid C)\,P(B \mid C)$

Читается так: зная $C$, наблюдение $B$ ничего не добавляет об $A$. Вся информация, которую $B$ несёт об $A$, уже содержалась в $C$.

Это понятие важнее безусловной независимости, потому что почти все вероятностные модели в машинном обучении построены на нём:

• naive Bayes: признаки условно независимы при данном классе. Отсюда $P(\mathbf{x} \mid y) = \prod_i P(x_i \mid y)$ — произведение вместо неподъёмного совместного распределения;
• скрытые марковские модели и модели состояний: будущее условно независимо от прошлого при данном настоящем. Это и есть марковское свойство;
• графические модели: стрелки на диаграмме кодируют ровно набор условных независимостей, и ничего больше;
• диффузия: каждый шаг зависит только от предыдущего — та же марковость.

Ни одно не следует из другого

Оба направления неверны, и оба контрпримера полезно помнить.

Условная независимость не влечёт безусловную. Пусть $C$ — «человек курит», $A$ — «кашель», $B$ — «жёлтые пальцы». При фиксированном $C$ эти симптомы независимы, но без него — заметно связаны, потому что оба указывают на курение. Общая причина создаёт зависимость.

Безусловная не влечёт условную. Два независимых броска монеты, $C$ — «сумма чётна». Без $C$ броски независимы; зная $C$, первый бросок полностью определяет второй. Обусловливание на общем следствии создаёт зависимость — этот эффект называют collider bias или explaining away.

Второй случай стоит понять до конца, потому что он объясняет, почему в графических моделях направление стрелок имеет значение, а не только их наличие.

Независимость случайных величин

Для величин определение то же, но требуется для всех значений сразу:

$p(x, y) = p(x)\,p(y) \quad \text{для всех } x, y$

Практические следствия, которыми будем пользоваться постоянно:

• $E[XY] = E[X]E[Y]$ (в обратную сторону неверно);
• $\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$;
• плотность выборки $\prod_i p(x_i)$ — отсюда берётся log-правдоподобие как сумма, а с ней и все MLE-выводы.

Аббревиатура iid — independent and identically distributed — означает ровно эти два условия: элементы выборки независимы и взяты из одного распределения. На этом предположении стоит вся классическая теория обучения, и нарушается оно постоянно (временные ряды, распределённый сбор данных, дубликаты в корпусе). Знать, что предположение сделано, полезнее, чем верить в него.