Projektionen

Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen

Eine Projektion beantwortet die Frage: „Was ist der nächstgelegene Punkt zu b, der in einem gegebenen Teilraum liegt?“ Stellen Sie sich einen Punkt vor, der über einem Boden schwebt: Seine Projektion ist die Stelle auf dem Boden direkt unter ihm, der Fußpunkt des Lotes. Sie ist die beste Approximation von b, die im Teilraum verfügbar ist.

Um einen Vektor b auf eine einzelne Richtung a zu projizieren, skalieren Sie a mit dem Anteil von b, der entlang dieser Richtung liegt (ein Skalarprodukt), normiert durch das Längenquadrat von a:

Ziehen Sie b im Bild umher und beobachten Sie, wie sein Schatten an der Linie a entlanggleitet und stets am nächstgelegenen Punkt landet, wobei die gestrichelte Fehlerstrecke im rechten Winkel auf die Linie trifft.

Wo das im ML vorkommtDie Projektion ist die Geometrie hinter Attention und Residual-Streams. Die Regression der kleinsten Quadrate projiziert die Zielwerte auf den Spaltenraum des Modells. Aus dem Residual-Stream in einem Transformer wird über Projektionen wiederholt gelesen und geschrieben, und eine Orthogonalisierung im Stil von Gram–Schmidt hält die gelernten Richtungen voneinander getrennt. „Nächstgelegener Punkt…
▶ Projektionen
← MatrixnormenQuadratische Formen →