共分散と相関
不確実性の数学
2つの変数は一緒に動くか？共分散がそれを測る：平均からの偏差の積の平均です。両方が同時に平均より上（または両方が下）の傾向があるとき、積は正で共分散は正です。
正の共分散は一緒に上がることを意味する。負は一方が上がるとき他方が下がるを意味する。ゼロはどちらの方向にも線形な傾向がないことを意味する。しかし共分散は扱いにくい混合単位で大きさがスケールに依存するので、単独では解釈しにくい。
共分散を両方の標準偏差で割ると相関係数ρが得られ、常に−1から+1の間のきれいな数です：
機械学習における位置づけ共分散行列Σᵢⱼ = Cov(Xᵢ, Xⱼ)が特徴ベクトルのすべてのペアワイズ共分散をまとめる。PCAはそれを対角化して最大分散の方向を見つける。高く相関した入力特徴は多重共線性を引き起こし重みを不安定にし、Transformerのattentionマップの「何が何に注意するか」のパターンは、緩く言って、トークンにわたる学習された相関構造です。
▶ 共分散と相関