Matrices Spéciales

Géométrie et algèbre des applications linéaires, vecteurs et matrices

Quelques matrices apparaissent si souvent, avec une géométrie si nette, qu'elles gagnent un nom. Les reconnaître au premier coup d'œil économise un effort énorme.

La matrice identité I a des 1 sur la diagonale et des 0 ailleurs. C'est l'application « ne rien faire » : Ix = x pour tout vecteur. Une matrice diagonale n'a des entrées non nulles que sur la diagonale ; elle étire chaque axe indépendamment, l'entrée dᵢ mettant à l'échelle la i-ème coordonnée sans mélange.

Pensez à une table de mixage sonore. La matrice identité I, c'est chaque curseur garé à 1 : le signal passe intact, exactement "ne rien faire". Une matrice diagonale est un ensemble de curseurs de volume indépendants — chacun amplifie ou coupe un seul canal de son côté, sans qu'aucun canal ne déborde jamais sur un autre.

Où cela apparaît en MLLes applications orthogonales gardent les signaux bien mis à l'échelle. L'initialisation de poids orthogonale démarre une couche comme une application préservant la longueur pour que les activations et les gradients n'explosent ni ne s'évanouissent en traversant de nombreuses couches. Les matrices diagonales apparaissent comme des échelles par feature dans la batch norm, et l'identité est l'épine…
▶ Matrices Spéciales
← TransposéeAx = b : Géométrie →