SVD

Геометрия и алгебра на линейни приложения, вектори и матрици

Разлагането по сингулярни стойности (SVD) прави нещо, което нито едно друго факторизиране не може: всяка матрица, квадратна или правоъгълна, с пълен ранг или не, се разлага на три изчистени геометрични части.

Четейки отдясно наляво, всяка линейна трансформация представлява една и съща тристъпкова процедура: Vᵀ завърта входа, за да го подравни с десните сингулярни вектори (оси), Σ (диагонална матрица с неотрицателните сингулярни стойности σ₁ ≥ σ₂ ≥ …) мащабира всяка ос, а U завърта резултата в изходното пространство. Окръжност от входни вектори винаги се преобразува в елипса, а сингулярните стойности представляват дължините на полуосите на тази елипса.

Наблюдавайте на фигурата как единичната окръжност се превръща в елипса, чиито полуоси са точно сингулярните стойности.

Къде се използва това в MLSVD е математическата основа зад компресирането на модели. Методът LoRA апроксимира обновяването на теглата с произведение от матрици с нисък ранг, възползвайки се от факта, че същественото обновяване се случва само в няколко направления с големи σ. PCA (Анализ на главните компоненти) всъщност е SVD върху центрирани данни. Съкратеното (truncated) SVD компресира таблици и изображения в ембединги…
▶ SVD
← Симетрични матрициPCA чрез SVD →