SVD

Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen

Die Singulärwertzerlegung leistet etwas, das keine andere Faktorisierung schafft: jede Matrix, ob quadratisch oder rechteckig, ob vollen Rangs oder nicht, zerfällt in drei saubere geometrische Bausteine.

Von rechts nach links gelesen, ist jede lineare Abbildung dieselbe dreistufige Bewegung: Vᵀ dreht die Eingabe so, dass sie sich mit den richtigen Achsen ausrichtet, Σ (diagonal, mit den nicht-negativen Singulärwerten σ₁ ≥ σ₂ ≥ …) skaliert jede Achse, und U dreht das Ergebnis in den Ausgaberaum. Ein Kreis von Eingaben wird stets auf eine Ellipse abgebildet, und die Singulärwerte sind die Längen der Achsen dieser Ellipse.

Beobachten Sie im Bild, wie sich der Einheitskreis in eine Ellipse verwandelt, deren Halbachsen genau den Singulärwerten entsprechen.

Wo das im ML vorkommtDie SVD ist die Mathematik hinter der Modellkompression. LoRA approximiert ein Gewichtsupdate durch ein niedrigrangiges Produkt und nutzt dabei aus, dass die nützliche Aktualisierung in wenigen Richtungen mit großem σ liegt. PCA ist die SVD zentrierter Daten. Die abgeschnittene (truncated) SVD komprimiert Embedding-Tabellen und Bilder, indem sie nur die dominierenden Singulärrichtungen behält –…
▶ SVD
← Symmetrische MatrizenPCA über SVD →