Matrixvermenigvuldiging

Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices

Matrixvermenigvuldiging lijkt een lastige regel, maar de betekenis is helder: AB is de samenstelling van twee transformaties. Doe eerst B, dan A. Het product is de ene matrix die beide bewegingen in één keer uitvoert.

Om een element van AB te berekenen, neem je een rij van A en je neemt het inproduct met een kolom van B. Element (i, j) is rij i van A in inproduct met kolom j van B. Dat is het hele algoritme: inproducten, gerangschikt in een rooster.

Stel je twee machines voor aan een lopende band. De eerste machine B vormt een onderdeel om, daarna vormt de tweede machine A het opnieuw om. Het product AB is de enkele gecombineerde machine die beide stappen in één keer uitvoert — en de volgorde op de band is vast, aangezien het onderdeel door B moet gaan voordat het door A gaat.

Waar dit voorkomt in MLHet samenstellen van lagen is matrixvermenigvuldiging. Een lineaire stapel van twee lagen W₂(W₁x) is gelijk aan (W₂W₁)x; de lagen smelten samen tot één afbeelding. In attention komen de scores uit een product QKᵀ en de uitvoer uit het vermenigvuldigen van die gewichten met V. Elke voorwaartse stap is een keten van deze producten, en de vormregel is precies wat GPU's zijn gebouwd om te verwerken.
▶ Matrixvermenigvuldiging
← Matrices als lineaire afbeeldingenGetransponeerde →