特徵向量與特徵值

線性映射、向量與矩陣的幾何與代數

大多數向量在矩陣作用下會偏離原方向：它們既旋轉又拉伸。但有少數特殊方向是不變的。矩陣只會拉伸或翻轉它們，不會轉向。它們叫特徵向量，拉伸因子叫特徵值。

讀出來就是：把 A 作用到它的特徵向量 v 上，會得到同一方向，只是乘以 λ。如果 λ = 2，該方向加倍；如果 λ = −1，它翻轉；如果 λ = 0.5，它縮小一半。特徵向量形成變換的骨架，也就是變換作用最簡單的軸。

在圖中拖動一個向量。大多數方向在 A 作用下會明顯旋轉；只有沿特徵向量方向時，輸出才會與輸入保持平行。

在機器學習中的應用特徵向量是過程自然移動的方向。在 PCA 中，協變異數矩陣的特徵向量是最大變異數軸，也就是資料實際展開的方向。在最佳化中，Hessian 的特徵值描述損失在每個方向上的曲率：大特徵值是陡墻，小特徵值是平谷，它們的比值（條件數）控制曲面有多難下降。