射影

線形写像、ベクトル、行列の幾何学と代数

射影は「与えられた部分空間に属するbに最も近い点は何か?」に答える。床の上に浮かぶ点を想像する:その射影は床の真下の点、垂線の足です。それは部分空間内で利用可能なbの最良近似です。

ベクトルbを単一方向aに射影するには、aをbがその方向にどれくらいあるか(内積)でスケールし、a自身の長さ2乗で正規化する:

図でbをドラッグしてその影が直線aに沿ってスライドし、常に最も近い点に着地し、破線の誤差セグメントが直線と直角で交わる様子を見てください。

機械学習における位置づけ射影はattentionと残差ストリームの背後の幾何です。最小二乗回帰はターゲットをモデルの列空間に射影する。Transformerの残差ストリームは射影を通じて繰り返し読み書きされ、グラム・シュミット式直交化が学習した方向を区別して保つ。「部分空間内の最も近い点」はモデルが常にする操作。
▶ 射影
← 行列ノルム二次形式 →