Multiplication Matricielle

Géométrie et algèbre des applications linéaires, vecteurs et matrices

La multiplication matricielle ressemble à une règle fastidieuse, mais son sens est net : AB est la composition de deux transformations. Faites B d'abord, puis A. Le produit est la matrice unique qui réalise les deux mouvements d'un seul coup.

Pour calculer une entrée de AB, prenez une ligne de A et faites le produit scalaire avec une colonne de B. L'entrée (i, j) est la ligne i de A produit scalaire avec la colonne j de B. C'est tout l'algorithme : des produits scalaires, arrangés en grille.

Imaginez deux machines sur une chaîne de montage. La première machine B remodèle une pièce, puis la deuxième machine A la remodèle à nouveau. Le produit AB est la machine combinée unique qui fait les deux étapes en un seul passage — et l'ordre sur la chaîne est fixe, puisque la pièce doit passer par B avant A.

Où cela apparaît en MLComposer des couches est la multiplication matricielle. Une pile linéaire à deux couches W₂(W₁x) équivaut à (W₂W₁)x ; les couches fusionnent en une seule application. Dans l'attention, les scores proviennent d'un produit QKᵀ et la sortie de la multiplication de ces poids par V. Chaque passe avant est une chaîne de ces produits, et la règle de forme est ce pour quoi les GPU sont conçus.
▶ Multiplication Matricielle
← Matrices comme Applications LinéairesTransposée →