Линейная независимость и базис

Геометрия и алгебра линейных отображений, векторов и матриц

Набор векторов линейно независим, когда ни один из них не является комбинацией остальных. Каждый тянет в действительно новом направлении, ни один не избыточен. Если вы можете записать один как комбинацию остальных, набор зависим и содержит излишек.

Чёткий тест: единственный способ получить нулевой вектор из комбинации — использовать все нулевые веса.

Подумайте о минимальном наборе Lego. Набор строительных блоков линейно independent, когда каждый блок добавляет форму, которую вы не могли бы построить из других — ни один не является redundant. Если один блок на самом деле представляет собой просто пару других, скрепленных вместе, это мертвый груз, и вы могли бы выбросить его, не потеряв ни одной сборной формы. Базис — это самый компактный набор, который все еще строит всё.

Где это встречается в MLВ этом смысл ранга: число независимых направлений, которые матрица реально использует. Если строки матрицы весов зависимы, некоторые нейроны избыточны. Они вычисляют комбинации остальных и не добавляют репрезентативной силы. Низкий ранг означает сжимаемый слой (идея LoRA), а полноранговая таблица эмбеддингов означает, что каждое направление признака действительно различно.
▶ Линейная независимость и базис
← Линейные комбинации и линейная оболочкаМатрицы как линейные отображения →