Matrici Speciali

Geometria e algebra di applicazioni lineari, vettori e matrici

Poche matrici compaiono così spesso, e con una geometria così pulita, da meritarsi un nome. Riconoscerle a colpo d'occhio fa risparmiare una quantità enorme di fatica.

La matrice identità I ha 1 sulla diagonale e 0 altrove. È l'applicazione "non fare nulla": Ix = x per ogni vettore. Una matrice diagonale ha elementi non nulli solo sulla diagonale; dilata ciascun asse in modo indipendente, con l'elemento dᵢ che scala la i-esima coordinata senza alcun mescolamento.

Pensa a un mixer audio. La matrice identità I è come avere ogni cursore posizionato su 1: il segnale passa inalterato, esattamente "non fare nulla". Una matrice diagonale è un set di cursori del volume indipendenti — ognuno aumenta o riduce un singolo canale per conto suo, senza che nessun canale si sovrapponga a un altro.

Dove si trova nel MLLe applicazioni ortogonali mantengono i segnali ben scalati. L'inizializzazione ortogonale dei pesi avvia uno strato come un'applicazione che conserva la lunghezza, così attivazioni e gradienti non esplodono né svaniscono attraversando molti strati. Le matrici diagonali compaiono come fattori di scala per-feature nel batch norm, e l'identità è la spina dorsale di una connessione residuale x +…
▶ Matrici Speciali
← TraspostaAx = b: Geometria →