Trasposta

Geometria e algebra di applicazioni lineari, vettori e matrici

La trasposta Aᵀ riflette una matrice rispetto alla sua diagonale principale: le righe diventano colonne e le colonne diventano righe. L'elemento (i, j) si scambia con l'elemento (j, i). Una matrice (m×n) diventa (n×m).

Immagina un foglio di calcolo dove le righe sono le persone e le colonne sono i mesi in cui ognuno ha pagato. La trasposizione inclina l'intera tabella sulla sua diagonale in modo che le righe diventino colonne: ora le righe sono i mesi e le colonne sono le persone. Nessun numero viene perso o cambiato — ogni valore si sposta semplicemente nella sua cella speculare, dove la sua etichetta di riga e l'etichetta di colonna si sono scambiate di posto.

Una matrice uguale alla propria trasposta, A = Aᵀ, è simmetrica: bilanciata a specchio rispetto alla diagonale, con Aᵢⱼ = Aⱼᵢ. Queste matrici sono talmente speciali che due intere lezioni successive sono dedicate proprio a loro.

Dove si trova nel MLLa trasposta è ovunque nella backprop. Il forward pass moltiplica per W; il backward pass moltiplica il gradiente in entrata per Wᵀ per rimandarlo allo strato precedente. Gli score di attention sono QKᵀ. E le matrici Hessiana e di covarianza sono simmetriche (A = Aᵀ) per costruzione, ed è proprio questo a garantire la bella struttura di autovalori su cui si appoggiano le lezioni successive.
▶ Trasposta
← Moltiplicazione di MatriciMatrici Speciali →