对称矩阵

线性映射、向量与矩阵的几何与代数

对称矩阵（A = Aᵀ）性质特别好，而且恰好也是机器学习里最常出现的矩阵。协方差矩阵、Hessian 矩阵、Gram 矩阵：全都是对称的。它们有一个非常干净的保证，甚至专门有名字。

谱定理：每个实对称矩阵都有实特征值，并且有一整组正交特征向量。没有复数、没有缺陷情况，特征方向以完美的直角相交。你总能用一个正交矩阵把它对角化。

因为 Q 是正交矩阵，Q⁻¹ = Qᵀ，所以这个分解由一次旋转、一次缩放和反向旋转组成。特征向量直接给你一个完美的标准正交坐标系。

在机器学习中的应用损失函数的 Hessian 矩阵是对称的（混合偏导可交换），所以它的特征值是实数，并告诉你每个方向的曲率：全为正 ⇒ 局部最小值（碗），符号混合 ⇒ 鞍点。协方差矩阵是对称且半正定的，这正是为什么 PCA 的特征分解总会得到实数、正交的主方向，并且方差非负。