Rang, Noyau, Espace Colonne

Géométrie et algèbre des applications linéaires, vecteurs et matrices

Trois quantités capturent ce qu'une matrice fait réellement. L'espace colonne est tout ce que Ax peut atteindre : le span des colonnes, la « région de sortie » de la matrice. Le rang est la dimension de cet espace colonne, le nombre de directions véritablement indépendantes que A produit. Et le noyau (null space) est tout ce que A écrase à zéro, tous les x avec Ax = 0.

Imaginez donner des directions en utilisant des points de repère. Si vous dites "allez vers la tour" et "allez vers la jumelle de la tour juste à côté", vous n'avez en réalité donné qu'une seule direction authentique — la deuxième n'ajoute rien de nouveau. Le rang compte combien des directions d'une matrice sont vraiment indépendantes comme cela ; toute direction qui s'effondre en aucun mouvement du tout appartient à l'espace nul.

Les dimensions obéissent à un équilibre net, le théorème du rang–nullité : les dimensions d'entrée se divisent entre les directions qui survivent (rang) et les directions qui sont écrasées (nullité).

Où cela apparaît en MLLe rang mesure la véritable expressivité d'une couche. Une matrice de poids de rang faible a des neurones redondants (plusieurs calculant des combinaisons des autres) et peut être compressée sans perte. C'est le moteur de LoRA : remplacer une grosse mise à jour de poids par un produit de rang faible BA, entraînant bien moins de paramètres parce que la mise à jour utile vit dans seulement quelques…
▶ Rang, Noyau, Espace Colonne
← Élimination de GaussInverse Matriciel →