SVD

Géométrie et algèbre des applications linéaires, vecteurs et matrices

La décomposition en valeurs singulières fait quelque chose qu'aucune autre factorisation ne réussit : toute matrice, carrée ou rectangulaire, de rang plein ou non, se décompose en trois pièces géométriques nettes.

Lisez de droite à gauche, toute application linéaire est le même mouvement en trois étapes : Vᵀ pivote l'entrée pour l'aligner avec les bons axes, Σ (diagonale, avec les valeurs singulières non négatives σ₁ ≥ σ₂ ≥ …) met à l'échelle chaque axe, et U pivote le résultat dans l'espace de sortie. Un cercle d'entrées se mappe toujours à une ellipse, et les valeurs singulières sont les longueurs des axes de cette ellipse.

Dans la figure, observez le cercle unitaire devenir une ellipse dont les demi-axes sont exactement les valeurs singulières.

Où cela apparaît en MLLa SVD est le calcul derrière la compression de modèles. LoRA approxime une mise à jour de poids par un produit de rang faible, exploitant le fait que la mise à jour utile vit dans quelques directions à grand σ. PCA est la SVD de données centrées. La SVD tronquée comprime les tables de plongements et les images en gardant seulement les directions singulières dominantes, le même mouvement « gardez…
▶ SVD
← Matrices SymétriquesPCA via SVD →