Proiezioni

Geometria e algebra di applicazioni lineari, vettori e matrici

Una proiezione risponde a "qual è il punto più vicino a b che vive in un dato sottospazio?" Immagina un punto galleggiante sopra un pavimento: la sua proiezione è il punto sul pavimento direttamente sotto, il piede della perpendicolare. È la migliore approssimazione di b disponibile nel sottospazio.

Per proiettare un vettore b su una singola direzione a, scala a di quanto di b giace lungo essa (un prodotto scalare), normalizzato per la lunghezza al quadrato di a:

Trascina b nella figura e guarda la sua ombra scorrere lungo la retta a, atterrando sempre al punto più vicino, con il segmento di errore tratteggiato che incontra la retta ad angolo retto.

Dove si trova nel MLLa proiezione è la geometria dietro l'attention e i flussi residui. La regressione ai minimi quadrati proietta i bersagli sullo spazio delle colonne del modello. Il flusso residuo in un transformer è ripetutamente letto e scritto tramite proiezioni, e l'ortogonalizzazione in stile Gram–Schmidt mantiene le direzioni apprese distinte. "Punto più vicino in un sottospazio" è una mossa che i modelli…
▶ Proiezioni
← Norme di matriciForme Quadratiche →