Взаимная информация

Три определения одной величины

$$\htmlData{k=mi}{I(X;Y)} = H(X) + H(Y) - H(X,Y) = \htmlData{k=kl}{\text{KL}\big(p(x,y) \,\big\|\, p(x)p(y)\big)}$$

Три эквивалентные записи, и все три полезны:

• $H(X) + H(Y) - H(X,Y)$ — «сколько неопределённости учтено дважды», если считать величины по отдельности;
• $H(Y) - H(Y \mid X)$ — насколько знание $X$ сокращает неопределённость $Y$;
• $\text{KL}$ совместного от произведения маргинальных — насколько реальность расходится с гипотезой независимости.

Третья запись — самая содержательная, потому что из неё сразу следуют оба ключевых свойства. $I \ge 0$ — потому что любая KL неотрицательна. А $I = 0$ тогда и только тогда, когда $X$ и $Y$ независимы — потому что KL обращается в нуль только при совпадении распределений, а совпадение здесь и есть определение независимости.

То есть «независимость» и «нулевая взаимная информация» — не связанные факты, а одно и то же утверждение, записанное дважды.

На решётке

Виджет показывает совместное распределение рядом с произведением его маргинальных. Независимость — это состояние, когда две картинки совпадают.

независимыеY определён Xчастичная связьперекошенное

совместное p(x, y)

	y=0	y=1
x=0	0.4	0.1
x=1	0.1	0.4

если бы были независимы

	y=0	y=1
x=0	0.25	0.25
x=1	0.25	0.25

x=0 · y=0

0.4

x=0 · y=1

0.1

x=1 · y=0

0.1

x=1 · y=1

0.4

H(X)

1

H(Y)

1

H(X, Y)

1.7219

I(X; Y)

0.2781 бит

H(Y | X)

0.7219

Три состояния стоит пройти кнопками:

• независимые: решётки совпадают, $I = 0$, а $H(X,Y) = H(X) + H(Y) = 2$ бита. Энтропии складываются ровно тогда, когда информации не разделяют;
• $Y$ определён $X$: $I = 1$ бит, $H(X,Y) = 1$ бит. Совместная энтропия равна энтропии одной величины — вторая ничего не добавляет;
• частичная связь ($[[4,1],[1,4]]$): $I = 0.278$ бита. Знание $X$ сокращает неопределённость $Y$ примерно на четверть бита, но не устраняет её.

Границы и что из них следует

$0 \ \le \ I(X;Y) \ \le \ \min\big(H(X),\ H(Y)\big)$

Верхняя граница достигается, когда одна величина определяет другую. Отсюда важное практическое ограничение: взаимная информация ограничена энтропией своих аргументов. Дискретная метка из десяти классов несёт не более $\log_2 10 = 3.32$ бита, сколько бы информации ни было в изображении.

Полезные тождества, все — переписывания одного:

тождество	читается как
$I(X;Y) = H(Y) - H(Y\mid X)$	сокращение неопределённости $Y$
$I(X;X) = H(X)$	величина знает о себе всё
$H(X,Y) = H(X) + H(Y\mid X)$	цепное правило
$I(X;Y) = 0 \iff X \perp Y$	независимость

Второе стоит отметить: энтропия — это взаимная информация величины с собой, откуда её второе имя, «собственная информация».

Чем MI отличается от корреляции

Это главная причина, по которой её вообще используют.

	корреляция $\rho$	взаимная информация
ловит	линейную связь	любую зависимость
$= 0$ означает	нет линейной связи	независимость
инвариантна к	линейным преобразованиям	любым обратимым

Классический пример: $Y = X^2$ при $X \sim \mathcal{N}(0,1)$. Корреляция равна нулю — связь идеально нелинейна и симметрична. Взаимная информация велика: зная $X$, вы знаете $Y$ полностью.

Третья строка — то, за что MI ценят в представлениях. Она не зависит от того, в каких координатах записаны величины: якобианы в KL сокращаются (это урок 180 блока 3). Поэтому $I$ измеряет связь между величинами, а не между их конкретными кодировками, и осмысленна для сравнения слоёв сети, у которых масштабы активаций разные.

Почему её трудно оценивать

Честная оговорка, без которой урок был бы вредным. По выборке взаимная информация оценивается плохо:

• оценки по гистограммам смещены вверх, и смещение растёт с числом бинов. На конечной выборке независимые величины почти всегда дают $\hat{I} > 0$;
• в непрерывном случае $I$ может быть бесконечной (например, при $Y = X$), поэтому «оценить $I$» иногда некорректно поставленная задача;
• вариационные оценки (MINE, InfoNCE) дают нижние границы, и их дисперсия растёт экспоненциально с величиной самой $I$.

Отсюда практическое правило: взаимная информация — превосходный инструмент для рассуждений и рискованный для измерений. Утверждения вида «в этом слое $2.7$ бита информации о метке» стоит читать со скидкой на метод оценки. Контрастивное обучение, кстати, работает несмотря на это: InfoNCE — плохая оценка $I$, но хорошая функция потерь, и это разные требования.