対称行列
線形写像、ベクトル、行列の幾何学と代数
対称行列(A = Aᵀ)は異常に振る舞いが良く、MLで最も頻繁に現れるものです。共分散行列、ヘッセ行列、グラム行列:すべて対称。それらは名前を持つほどきれいな保証を伴う。
スペクトル定理:すべての実対称行列は実固有値と直交固有ベクトルの完全集合を持つ。複素数も欠陥ケースもなく、固有方向は完全な直角で交わる。直交行列で常に対角化できる。
Qは直交なのでQ⁻¹ = Qᵀで、分解は回転、スケーリング、逆回転から構築される。固有ベクトルは完全な正規直交座標系を与え、無料で手に入る。
機械学習における位置づけ損失のヘッセ行列は対称(混合偏微分は可換)で、その固有値は実で各方向の曲率を教える:すべて正 ⇒ 局所的最小(ボウル)、混合符号 ⇒ サドル。共分散行列は対称で半正定値で、それがまさにPCAの固有分解が常に非負分散を持つ実で直交する主方向を与える理由。
▶ 対称行列