Ранг, ядро, столбцовое пространство

Геометрия и алгебра линейных отображений, векторов и матриц

Три величины описывают, что матрица реально делает. Столбцовое пространство — всё, чего Ax может достичь: оболочка столбцов, «область выхода» матрицы. Ранг — размерность столбцового пространства, число действительно независимых направлений, которые A производит. А ядро (null space) — всё, что A давит в ноль, все x с Ax = 0.

Представьте, что вы даете указания, используя ориентиры. Если вы скажете «идите к башне» и «идите к башне-близнецу прямо рядом с ней», вы на самом деле дадите только одно подлинное направление — второе не добавляет ничего нового. Ранг подсчитывает, сколько направлений матрицы являются действительно независимыми таким образом; любое направление, которое схлопывается в полное отсутствие движения, принадлежит к нулевому пространству.

Размерности подчиняются чистому балансу — теорема ранг–дефект: входные размерности делятся на выживающие (ранг) и давимые (дефект).

Где это встречается в MLРанг измеряет истинную выразительность слоя. Низкоранговая матрица весов имеет избыточные нейроны (несколько вычисляют комбинации остальных) и может быть сжата без потерь. Это двигатель LoRA: заменить большое обновление весов низкоранговым произведением BA, обучая гораздо меньше параметров, потому что полезное обновление живёт лишь в нескольких направлениях.
▶ Ранг, ядро, столбцовое пространство
← Метод ГауссаОбратная матрица →