Normes Matricielles

Géométrie et algèbre des applications linéaires, vecteurs et matrices

Comme un vecteur a une longueur, une matrice a une « taille ». Deux mesures dominent, et elles répondent à des questions différentes : quelle est la taille des entrées, versus de combien la matrice peut-étirer un vecteur ?

La norme de Frobenius traite la matrice comme une longue liste de nombres et prend la longueur euclidienne : élever au carré chaque entrée, additionner, racine carrée. La norme spectrale mesure plutôt l'étirement maximum, le plus grand facteur par lequel A peut allonger un vecteur unitaire, qui s'avère être la plus grande valeur singulière.

Pensez à une matrice comme à un amplifier de guitare : vous y entrez un signal et il en ressort plus fort. La norme spectrale est le gain maximum de l'amplifier, le plus grand facteur par lequel il peut amplifier toute entrée que vous lui envoyez. Tournez le bouton sur son réglage le plus fort et le signal unitaire le plus fort qui puisse en sortir est exactement cette norme.

Où cela apparaît en MLLa norme de Frobenius est la régularisation de poids L2 pour toute une matrice : pénaliser ‖W‖_F² garde les poids petits et le modèle lisse. La norme spectrale alimente la normalisation spectrale, qui divise une matrice de poids par sa plus grande valeur singulière pour plafonner son amplification. Cela en fait un stabiliseur clé dans les GANs et un outil pour imposer des bornes de Lipschitz.
▶ Normes Matricielles
← Moindres CarrésProjections →