特征向量与特征值

线性映射、向量与矩阵的几何与代数

大多数向量在矩阵作用下会偏离原方向：它们既旋转又拉伸。但有少数特殊方向是不变的。矩阵只会拉伸或翻转它们，不会转向。它们叫特征向量，拉伸因子叫特征值。

读出来就是：把 A 作用到它的特征向量 v 上，会得到同一方向，只是乘以 λ。如果 λ = 2，该方向加倍；如果 λ = −1，它翻转；如果 λ = 0.5，它缩小一半。特征向量形成变换的骨架，也就是变换作用最简单的轴。

在图中拖动一个向量。大多数方向在 A 作用下会明显旋转；只有沿特征向量方向时，输出才会与输入保持平行。

在机器学习中的应用特征向量是过程自然移动的方向。在 PCA 中，协方差矩阵的特征向量是最大方差轴，也就是数据实际展开的方向。在优化中，Hessian 的特征值描述损失在每个方向上的曲率：大特征值是陡墙，小特征值是平谷，它们的比值（条件数）控制曲面有多难下降。