Вектор, линейная комбинация, оболочка

Три определения вектора

Программист скажет: вектор — это массив чисел. Физик скажет: величина с направлением и длиной. Математик скажет: элемент векторного пространства.

Все трое правы, и третье определение — самое полезное, потому что оно единственное объясняет, почему методы линейной алгебры работают на объектах, которые массивом не являются: на функциях, на многочленах, на матрицах.

Векторное пространство — это множество, в котором определены сложение и умножение на число, подчиняющиеся привычным правилам (ассоциативность, коммутативность сложения, дистрибутивность, наличие нуля и противоположного).

Ничего больше. Обратите внимание, чего в определении нет: ни длины, ни угла, ни координат. Это отдельные структуры, которые добавляются позже — и именно поэтому «длина вектора» появится только вместе со скалярным произведением.

Из $\R^n$ как декартовой степени (мы её строили в блоке 0) векторное пространство получается покомпонентными операциями:

$$\mathbf{x} + \mathbf{y} = (x_1 + y_1,\; \dots,\; x_n + y_n), \qquad \lambda \mathbf{x} = (\lambda x_1,\; \dots,\; \lambda x_n)$$

Линейная комбинация

$$\htmlData{k=v}{\mathbf{v}} = \htmlData{k=c1}{\lambda_1} \htmlData{k=v1}{\mathbf{v}_1} + \htmlData{k=c2}{\lambda_2} \htmlData{k=v2}{\mathbf{v}_2} + \cdots + \htmlData{k=cn}{\lambda_k} \htmlData{k=vn}{\mathbf{v}_k}$$

Всё, что делает линейная алгебра, — это линейные комбинации. Умножение матрицы на вектор, свёртка, полносвязный слой, PCA — везде под капотом одно и то же выражение.

В коде это sum(c * v for c, v in zip(coeffs, vectors)).

Линейная оболочка

$\mathrm{span}(\mathbf{v}_1, \dots, \mathbf{v}_k) = \left\{ \sum_{i=1}^{k} \lambda_i \mathbf{v}_i \;:\; \lambda_i \in \R \right\}$

Множество всех линейных комбинаций данного набора. Это то, куда можно попасть, комбинируя имеющиеся векторы.

Геометрически в $\R^3$:

• span одного ненулевого вектора — прямая через начало координат;
• span двух неколлинеарных — плоскость;
• span трёх векторов «в общем положении» — всё пространство.

Ключевое наблюдение: span всегда содержит нулевой вектор (возьмите все $\lambda_i = 0$) и всегда проходит через начало координат. Прямая, не проходящая через ноль, оболочкой не является — это уже аффинное множество.

Линейная независимость

Векторы линейно зависимы, если один из них выражается через остальные — то есть если существует нетривиальная комбинация, дающая ноль:

$$\lambda_1 \mathbf{v}_1 + \cdots + \lambda_k \mathbf{v}_k = \mathbf{0} \quad \text{при не всех } \lambda_i = 0$$

Независимы — если такой комбинации нет, то есть равенство нулю возможно только при всех нулевых коэффициентах.

Практический смысл: зависимость означает избыточность. Зависимый вектор ничего не добавляет к span — он уже там был.

Отсюда и берётся понятие ранга: ранг матрицы — это размерность span её столбцов, то есть количество по-настоящему независимой информации в ней. И отсюда же LoRA: низкоранговая поправка — это утверждение, что нужное изменение весов лежит в span небольшого числа направлений.

Базис и размерность

Базис — линейно независимый набор, span которого совпадает со всем пространством. Минимальный набор, из которого собирается всё.

Ключевой факт: в базисе координаты единственны. Каждый вектор раскладывается по базису ровно одним способом — иначе разность двух разложений дала бы нетривиальную комбинацию нуля, что противоречит независимости.

Размерность — число векторов в базисе. Оно одно и то же для всех базисов данного пространства, и это утверждение (не очевидное, но верное) — то, что делает размерность корректно определённой.

Стандартный базис $\R^n$ — векторы $\mathbf{e}_i$ с единицей на $i$-м месте: координаты в нём совпадают с самими компонентами вектора. Именно поэтому «массив чисел» и «вектор» кажутся одним и тем же — но только пока базис фиксирован и не обсуждается.

Что это даёт в ML

Эмбеддинг размерности $d$ — это утверждение, что все интересующие нас смыслы лежат в $d$-мерном пространстве, и любой из них есть линейная комбинация $d$ базисных направлений. Насколько это допущение оправдано — отдельный вопрос, но записывается оно ровно так.