Moltiplicazione di Matrici

Geometria e algebra di applicazioni lineari, vettori e matrici

La moltiplicazione di matrici sembra una regola macchinosa, ma il suo significato è limpido: AB è la composizione di due trasformazioni. Applichi prima B, poi A. Il prodotto è l'unica matrice che realizza entrambi i movimenti in un colpo solo.

Per calcolare un elemento di AB, prendi una riga di A e calcolane il prodotto scalare con una colonna di B. L'elemento (i, j) è il prodotto scalare tra la riga i di A e la colonna j di B. È tutto qui l'algoritmo: prodotti scalari, disposti in una griglia.

Immagina due macchine su una linea di fabbrica. La prima macchina B rimodella una parte, poi la seconda macchina A la rimodella di nuovo. Il prodotto AB è la singola macchina combinata che esegue entrambi i passaggi in un colpo solo — e l'ordine sulla linea è fisso, poiché la parte deve passare attraverso B prima di A.

Dove si trova nel MLComporre strati è moltiplicazione di matrici. Una pila lineare di due strati W₂(W₁x) equivale a (W₂W₁)x: gli strati si fondono in un'unica applicazione. Nell'attention, gli score derivano da un prodotto QKᵀ e l'output dalla moltiplicazione di quei pesi per V. Ogni forward pass è una catena di questi prodotti, e la regola delle dimensioni è esattamente ciò che le GPU sono costruite per macinare.
▶ Moltiplicazione di Matrici
← Matrici come Applicazioni LineariTrasposta →