Norme di matrici

Geometria e algebra di applicazioni lineari, vettori e matrici

Così come un vettore ha una lunghezza, una matrice ha una "dimensione". Due misure dominano e rispondono a domande diverse: quanto sono grandi le voci, oppure quanto può la matrice allungare un vettore?

La norma di Frobenius tratta la matrice come una lunga lista di numeri e ne prende la lunghezza euclidea: eleva al quadrato ogni voce, somma, poi fai la radice. La norma spettrale misura invece l'allungamento massimo, cioè il fattore più grande con cui A può allungare un qualsiasi vettore unitario; questo risulta essere il valore singolare massimo.

Pensa a una matrice come a un amplificatore (amplifier) per chitarra: inserisci un segnale ed esce più forte. La norma spettrale è il massimo guadagno (gain) dell'amplificatore, il fattore più grande con cui può aumentare qualsiasi input che gli invii. Gira la manopola sull'impostazione più alta e il segnale unitario più forte che può uscire è esattamente quella norma.

Dove si trova nel MLLa norma di Frobenius è la regolarizzazione L2 dei pesi per un'intera matrice: penalizzare ‖W‖_F² mantiene piccoli i pesi e liscio il modello. La norma spettrale guida la normalizzazione spettrale, che divide una matrice di pesi per il suo valore singolare massimo per limitare quanto può amplificare. Questo la rende uno stabilizzatore chiave nei GAN e uno strumento per imporre limiti di Lipschitz.
▶ Norme di matrici
← Minimi QuadratiProiezioni →