Практика: правдоподобие

Логистическая регрессия — это не «регрессия с сигмоидой»

Её выводят, а не постулируют. Модель говорит: метка распределена по Бернулли с параметром, зависящим от входа.

$y \mid x \ \sim \ \text{Bernoulli}\big(\sigma(w^\top x + b)\big), \qquad \sigma(z) = \frac{1}{1 + e^{-z}}$

Дальше — MLE из урока 120, буква в букву. Правдоподобие одного наблюдения равно $p^y(1-p)^{1-y}$, логарифм суммируется по выборке, и минус log-правдоподобие получается таким:

$$\htmlData{k=ce}{-\log L} = \sum_{i} \Big[\log\big(1 + e^{\htmlData{k=z}{z_i}}\big) - y_i \htmlData{k=z}{z_i}\Big], \qquad z_i = w^\top x_i + b$$

Это в точности бинарная кросс-энтропия. Никто её не выбирал как «подходящую функцию потерь» — она выведена из предположения о Бернулли, ровно как MSE выводится из гауссовского шума.

Приведённая форма $\log(1 + e^z) - yz$ получается из $-y\log\sigma(z) - (1-y)\log(1-\sigma(z))$ подстановкой $\log \sigma(z) = -\log(1+e^{-z})$ и не требует ни одного логарифма от возможного нуля. Это не косметика: наивная запись через $\log \sigma$ падает с ошибкой, как только $\sigma$ округлится до $0$ или $1$ — а это происходит уже при $|z| \approx 37$.

Градиент, который стоит запомнить

$\frac{\partial}{\partial w}\big(-\log L\big) = \sum_i \big(\sigma(z_i) - y_i\big)\,x_i$

То есть (предсказание − правда) × вход. Никакой производной сигмоиды в ответе нет, хотя в выводе она есть — она сокращается. Тот же вид имеет градиент softmax с кросс-энтропией (блок 2, урок 080) и градиент MSE с линейной моделью. Это не совпадение: у всех обобщённых линейных моделей из урока про экспоненциальное семейство градиент выглядит одинаково, и именно это делает их одним семейством, а не тремя похожими методами.

Поверхность правдоподобия

Ландшафт $-\log L$ по $(w, b)$ выпуклый — одна впадина, никаких локальных минимумов. Это редкое и приятное свойство; глубокие сети его не имеют, и об этом будет блок 5.

Первый набор — линейно разделимые данные. Потащите точку и следите за градиентом: он нигде не обращается в нуль. Минимума нет: чем больше $w$, тем меньше потеря ($0.043$ при $w = 2.5$, $0.0034$ при $w = 5$, $2 \cdot 10^{-5}$ при $w = 10$), и MLE уходит в бесконечность.

разделимые данныете же данные + L2один выброс, без L2

−log L

0.24

градиент

-0.27, 0.08

норма градиента

0.28

Сравнение первых двух наборов — самый содержательный вывод этого урока. Разделимость данных ломает MLE, и лечится это добавлением prior. То есть регуляризация здесь не улучшает оценку, а делает задачу разрешимой вообще. На разделимых данных без регуляризации веса логистической регрессии расходятся — это реальный эффект, который видно в логах любого обучения на маленьком чистом датасете.

Третий набор уточняет картину: стоило данным перестать быть разделимыми, и минимум нашёлся сам. Необходимость регуляризации — свойство данных, а не метода.

Наивный Байес

Другой подход к той же задаче классификации. Логистическая регрессия моделирует $p(y \mid x)$ напрямую — она дискриминативна. Наивный Байес моделирует $p(x \mid y)$ и $p(y)$, а затем разворачивает их правилом Байеса — он генеративен.

$p(y \mid x) \propto p(y)\prod_{j} p(x_j \mid y)$

«Наивное» — это допущение, что признаки условно независимы при данном классе. Оно почти всегда ложно (в тексте слова коррелируют очевидно), и метод всё равно работает. Причина в том, что для классификации нужен лишь верный порядок вероятностей, а не их верные значения: наивный Байес выдаёт плохо калиброванные вероятности и при этом часто правильный argmax.

Обучение — это MLE с сопряжёнными priors из урока 080, и оно сводится к подсчёту частот:

$p(x_j = v \mid y = c) = \frac{\#\{x_j = v,\ y = c\} + \alpha}{\#\{y = c\} + \alpha V}$

$\alpha$ здесь — тот самый Дирихле-prior, и без него одно ненаблюдённое слово обнуляет всё произведение. Это сглаживание Лапласа, встреченное в блоке 3 трижды с разных сторон.

Практически всё считают в log-пространстве:

$\log p(y \mid x) = \log p(y) + \sum_j \log p(x_j \mid y) + \text{const}$

Произведение сотни маленьких вероятностей underflow’ится — та же причина, что и в уроке 120, и то же решение.

Что делать руками

1. Логистическая регрессия с нуля. Реализуйте устойчивую NLL и градиент $(\sigma(z) - y)x$; проверьте градиент центральными разностями (относительная ошибка должна быть порядка $10^{-11}$, как в проверке ниже). Обучите на любом двумерном облаке и нарисуйте разделяющую прямую.
2. Убедитесь, что веса расходятся. Возьмите линейно разделимую выборку и обучайте без регуляризации, логируя $\|w\|$. Он будет расти неограниченно. Добавьте L2 и посмотрите, где он остановится.
3. Наивный Байес на текстах. Двадцать документов, два класса, мешок слов. Сначала без сглаживания — получите нулевые вероятности; затем с $\alpha = 1$.
4. Сравните калибровку. На одном датасете постройте гистограммы предсказанных вероятностей у обоих методов. Наивный Байес будет прижимать их к $0$ и $1$ — это и есть плата за ложное допущение независимости.
5. Проверьте общий вид градиента. Реализуйте линейную регрессию, логистическую и softmax-регрессию через одну и ту же функцию grad = X.T @ (predict(X, w) - Y) / n, меняя только predict. Работать должны все три — это и есть обобщённая линейная модель.