SVD

Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices

De singulierewaardenontbinding doet iets wat geen enkele andere factorisatie voor elkaar krijgt: elke matrix, vierkant of rechthoekig, volle rang of niet, splitst in drie nette meetkundige stukken.

Van rechts naar links gelezen is elke lineaire afbeelding dezelfde driestapsbeweging: Vᵀ draait de invoer om uit te lijnen met de juiste assen, Σ (diagonaal, met de niet-negatieve singuliere waarden σ₁ ≥ σ₂ ≥ …) schaalt elke as, en U draait het resultaat de uitvoerruimte in. Een cirkel van invoeren beeldt altijd af op een ellips, en de singuliere waarden zijn de lengtes van de assen van die ellips.

In de figuur zie je de eenheidscirkel een ellips worden waarvan de halve assen precies de singuliere waarden zijn.

Waar dit voorkomt in MLSVD is de wiskunde achter modelcompressie. LoRA benadert een gewichtsupdate met een lage-rang product, gebruikmakend van het feit dat de bruikbare update in enkele hoge-σ richtingen leeft. PCA is SVD van gecentreerde data. Afgekapte SVD comprimeert embedding-tabellen en afbeeldingen door alleen de dominante singuliere richtingen te behouden, telkens dezelfde "behoud de grote σ's"-zet.
▶ SVD
← Symmetrische matricesPCA via SVD →