SVD

Геометрия и алгебра линейных отображений, векторов и матриц

Сингулярное разложение делает то, чего не удаётся ни одному другому разложению: каждая матрица, квадратная или прямоугольная, полного ранга или нет, раскладывается на три чистых геометрических куска.

Читайте справа налево: любое линейное отображение — те же три шага: Vᵀ поворачивает вход, выравнивая с правыми осями, Σ (диагональная, с неотрицательными сингулярными значениями σ₁ ≥ σ₂ ≥ …) масштабирует каждую ось, а U поворачивает результат в выходное пространство. Окружность входов всегда отображается в эллипс, а сингулярные значения — длины осей этого эллипса.

На фигуре наблюдайте, как единичная окружность становится эллипсом, полуоси которого — сингулярные значения.

Где это встречается в MLSVD — математика за сжатием моделей. LoRA аппроксимирует обновление весов низкоранговым произведением, используя тот факт, что полезное обновление живёт в нескольких направлениях с большими σ. PCA — SVD центрированных данных. Усечённое SVD сжимает таблицы эмбеддингов и изображения, оставляя только доминирующие сингулярные направления — тот же приём «оставьте большие σ» каждый раз.
▶ SVD
← Симметричные матрицыPCA через SVD →