协方差与相关
不确定性的数学
两个变量会一起移动吗？协方差测量这个问题：它是它们各自偏离均值的乘积的平均值。当二者倾向于同时高于平均（或同时低于平均）时，这些乘积为正，协方差为正。
正协方差表示它们一起上升。负协方差表示一个上升时另一个下降。零表示没有任何线性趋势。但协方差的单位混杂，大小依赖尺度，所以单独解释很困难。
用两个标准差除协方差，就得到相关系数 ρ，这是一个始终位于 −1 和 +1 之间的干净数字：
在机器学习中的应用协方差矩阵 Σᵢⱼ = Cov(Xᵢ, Xⱼ) 打包了特征向量的所有成对协方差。PCA 将它对角化，以寻找最大方差方向。高度相关的输入特征会造成多重共线性和不稳定权重，而 transformer 注意力图中的“什么关注什么”模式，可以粗略看作 token 间学习到的相关结构。
▶ 协方差与相关