投影
线性映射、向量与矩阵的几何与代数
投影回答的是:“在给定子空间里,离 b 最近的点是什么?”想象一个点悬在地板上方:它的投影就是地板上正下方的点,也就是垂足。它是在该子空间中对 b 的最佳近似。
要把向量 b 投影到单个方向 a 上,就按 b 在该方向上的分量(点积)来缩放 a,并用 a 自身的长度平方归一化:
在图中拖动 b,观察它的影子如何沿着直线 a 滑动,始终落在最近点上,并且虚线误差段与直线成直角。
在机器学习中的应用投影是注意力和残差流背后的几何。最小二乘回归把目标投影到模型的列空间上。Transformer 中的残差流会通过投影不断被读取和写入,而 Gram–Schmidt 风格的正交化能让学到的方向保持区分。“子空间中的最近点”是模型不断使用的基本动作。
▶ 投影