math-stepper

Математика для программистов

От языка формул до математики современных архитектур машинного обучения. Час теории на три часа кода.

Язык математики

0/11
  1. 1. Как читать формулу не начат · ~20 мин · 2 пров.
  2. 2. Множества и операции не начат · ~25 мин · 2 пров.
  3. 3. Произведение, степень, семейства не начат · ~25 мин · 2 пров.
  4. 4. Отношения и эквивалентность не начат · ~22 мин · 2 пров.
  5. 5. Функции: инъекция, сюръекция, биекция не начат · ~25 мин · 2 пров.
  6. 6. Образ и прообраз не начат · ~20 мин · 2 пров.
  7. 7. sup, inf и счётность не начат · ~22 мин · 2 пров.
  8. 8. Суммы, произведения и смена порядка не начат · ~25 мин · 2 пров.
  9. 9. Кванторы и остальная нотация не начат · ~25 мин · 2 пров.
  10. 10. Техника доказательств не начат · ~28 мин · 2 пров.
  11. 11. Разбор формул из статей не начат · ~35 мин · 2 пров.

Линейная алгебра

0/11
  1. 12. Вектор, линейная комбинация, оболочка не начат · ~25 мин · 2 пров.
  2. 13. Матрица как линейное отображение не начат · ~28 мин · 2 пров.
  3. 14. Ранг, ядро и обратимость не начат · ~30 мин · 2 пров.
  4. 15. Смена базиса не начат · ~26 мин · 2 пров.
  5. 16. Скалярное произведение и нормы не начат · ~30 мин · 2 пров.
  6. 17. Ортогональность и проекции не начат · ~30 мин · 2 пров.
  7. 18. Собственные значения и спектральная теорема не начат · ~32 мин · 2 пров.
  8. 19. Сингулярное разложение не начат · ~34 мин · 2 пров.
  9. 20. Низкоранговое приближение и псевдообратная не начат · ~30 мин · 2 пров.
  10. 21. Повороты и комплексные числа не начат · ~24 мин · 2 пров.
  11. 22. Практика блока не начат · ~40 мин · 2 пров.

Дифференциальное и матричное исчисление

0/11
  1. 23. Производная как линейная аппроксимация не начат · ~28 мин · 2 пров.
  2. 24. Производные функций активации не начат · ~26 мин · 2 пров.
  3. 25. Ряд Тейлора и экстремумы не начат · ~26 мин · 2 пров.
  4. 26. Градиент и линии уровня не начат · ~30 мин · 2 пров.
  5. 27. Правило цепочки и якобиан не начат · ~30 мин · 2 пров.
  6. 28. Гессиан и кривизна не начат · ~28 мин · 2 пров.
  7. 29. Матричное дифференцирование не начат · ~32 мин · 2 пров.
  8. 30. Градиент softmax и кросс-энтропии не начат · ~32 мин · 2 пров.
  9. 31. Backprop и vector-Jacobian product не начат · ~32 мин · 2 пров.
  10. 32. Интегралы — необходимый минимум не начат · ~28 мин · 2 пров.
  11. 33. Практика блока не начат · ~45 мин · 2 пров.

Вероятность

0/20
  1. 34. Вероятностное пространство не начат · ~28 мин · 2 пров.
  2. 35. Условная вероятность и правило Байеса не начат · ~32 мин · 2 пров.
  3. 36. Независимость и условная независимость не начат · ~30 мин · 2 пров.
  4. 37. Случайные величины, CDF и плотность не начат · ~30 мин · 2 пров.
  5. 38. Ожидание и его линейность не начат · ~30 мин · 2 пров.
  6. 39. Дисперсия, ковариация и ковариационная матрица не начат · ~30 мин · 2 пров.
  7. 40. Дискретные распределения не начат · ~28 мин · 2 пров.
  8. 41. Непрерывные распределения не начат · ~30 мин · 2 пров.
  9. 42. Многомерная гауссиана не начат · ~30 мин · 2 пров.
  10. 43. Экспоненциальное семейство не начат · ~28 мин · 2 пров.
  11. 44. Совместные распределения и замена переменных не начат · ~32 мин · 2 пров.
  12. 45. Максимальное правдоподобие не начат · ~32 мин · 2 пров.
  13. 46. MAP и байесовский взгляд не начат · ~34 мин · 2 пров.
  14. 47. Смещение и дисперсия не начат · ~30 мин · 2 пров.
  15. 48. Монте-Карло не начат · ~32 мин · 2 пров.
  16. 49. Предельные теоремы не начат · ~30 мин · 2 пров.
  17. 50. Как сэмплировать не начат · ~34 мин · 2 пров.
  18. 51. Словарь теории меры не начат · ~26 мин · 2 пров.
  19. 52. Практика: правдоподобие не начат · ~40 мин · 2 пров.
  20. 53. Практика: EM и сэмплирование не начат · ~45 мин · 2 пров.

Теория информации

0/7
  1. 54. Энтропия не начат · ~28 мин · 2 пров.
  2. 55. Кросс-энтропия и перплексия не начат · ~30 мин · 2 пров.
  3. 56. KL-дивергенция не начат · ~30 мин · 2 пров.
  4. 57. Прямая и обратная KL не начат · ~28 мин · 2 пров.
  5. 58. Взаимная информация не начат · ~30 мин · 2 пров.
  6. 59. ELBO не начат · ~34 мин · 2 пров.
  7. 60. Практика: от кросс-энтропии до VAE не начат · ~45 мин · 2 пров.

Оптимизация

0/13
  1. 61. Выпуклость не начат · ~28 мин · 2 пров.
  2. 62. Условия оптимальности не начат · ~28 мин · 2 пров.
  3. 63. Гладкость и сильная выпуклость не начат · ~28 мин · 2 пров.
  4. 64. Градиентный спуск не начат · ~30 мин · 2 пров.
  5. 65. Обусловленность не начат · ~30 мин · 2 пров.
  6. 66. Стохастический градиентный спуск не начат · ~30 мин · 2 пров.
  7. 67. Момент не начат · ~30 мин · 2 пров.
  8. 68. Адаптивные методы не начат · ~32 мин · 2 пров.
  9. 69. Расписания и клипование не начат · ~28 мин · 2 пров.
  10. 70. Нормализация как предобусловливание не начат · ~30 мин · 2 пров.
  11. 71. Лагранж и ККТ не начат · ~30 мин · 2 пров.
  12. 72. Методы второго порядка не начат · ~30 мин · 2 пров.
  13. 73. Практика: оптимизаторы с нуля не начат · ~45 мин · 2 пров.

Математика глубокого обучения

0/16
  1. 74. Тензоры не начат · ~24 мин · 2 пров.
  2. 75. Broadcasting не начат · ~24 мин · 2 пров.
  3. 76. einsum не начат · ~28 мин · 2 пров.
  4. 77. Батчевые операции не начат · ~26 мин · 2 пров.
  5. 78. Числа с плавающей точкой не начат · ~28 мин · 2 пров.
  6. 79. Численная устойчивость не начат · ~30 мин · 2 пров.
  7. 80. Внимание не начат · ~30 мин · 2 пров.
  8. 81. Многоголовость и маски не начат · ~28 мин · 2 пров.
  9. 82. Нормализация в сети не начат · ~26 мин · 2 пров.
  10. 83. Инициализация и residual не начат · ~30 мин · 2 пров.
  11. 84. Позиционные кодировки не начат · ~28 мин · 2 пров.
  12. 85. RoPE не начат · ~30 мин · 2 пров.
  13. 86. LoRA не начат · ~28 мин · 2 пров.
  14. 87. KV-кэш не начат · ~28 мин · 2 пров.
  15. 88. Mixture of Experts не начат · ~28 мин · 2 пров.
  16. 89. Практика: трансформер с нуля не начат · ~50 мин · 2 пров.

Диффузия и потоки

0/12
  1. 90. Марковские цепи и прямой процесс не начат · ~26 мин · 2 пров.
  2. 91. Численные решатели ОДУ не начат · ~28 мин · 2 пров.
  3. 92. Стохастические дифференциальные уравнения не начат · ~32 мин · 2 пров.
  4. 93. Score-функция не начат · ~30 мин · 2 пров.
  5. 94. Ланжевеновская динамика не начат · ~26 мин · 2 пров.
  6. 95. Шумоподавление — это и есть score не начат · ~30 мин · 2 пров.
  7. 96. Расписания шума не начат · ~26 мин · 2 пров.
  8. 97. Classifier-free guidance не начат · ~28 мин · 2 пров.
  9. 98. Flow matching не начат · ~28 мин · 2 пров.
  10. 99. Непрерывные нормализующие потоки не начат · ~26 мин · 2 пров.
  11. 100. Оптимальный транспорт не начат · ~26 мин · 2 пров.
  12. 101. Практика: DDPM с нуля не начат · ~50 мин · 2 пров.

Обучение с подкреплением и выравнивание

0/16
  1. 102. Марковский процесс принятия решений не начат · ~26 мин · 2 пров.
  2. 103. Функции ценности не начат · ~24 мин · 2 пров.
  3. 104. Уравнения Беллмана не начат · ~28 мин · 2 пров.
  4. 105. Динамическое программирование не начат · ~26 мин · 2 пров.
  5. 106. Temporal difference и Q-learning не начат · ~28 мин · 2 пров.
  6. 107. Теорема о градиенте политики не начат · ~28 мин · 2 пров.
  7. 108. REINFORCE и дисперсия не начат · ~28 мин · 2 пров.
  8. 109. Преимущество и GAE не начат · ~26 мин · 2 пров.
  9. 110. Обучение вне политики не начат · ~26 мин · 2 пров.
  10. 111. Доверительная область не начат · ~26 мин · 2 пров.
  11. 112. PPO не начат · ~28 мин · 2 пров.
  12. 113. Максимально энтропийное RL не начат · ~26 мин · 2 пров.
  13. 114. RLHF не начат · ~28 мин · 2 пров.
  14. 115. DPO не начат · ~28 мин · 2 пров.
  15. 116. Модели мира не начат · ~26 мин · 2 пров.
  16. 117. Практика: от gridworld до DPO не начат · ~50 мин · 2 пров.