対角化
線形写像、ベクトル、行列の幾何学と代数
対角化は行列を自身の最も自然な座標系、固有ベクトルから構築された系で書き直す。その系で行列は対角です:各固有軸を固有値でスケールするだけ。もつれた変換が単純なものになる。
ここでPは列として固有ベクトルを持ち、Dは固有値の対角行列。積を右から左に3ステップのレシピとして読む:P⁻¹が固有座標に回転し、Dが各軸をスケールし、Pが回転し戻す。もつれた変換が、2つの視点変更の間の純粋な伸縮として表現される。
対角化は行列の累乗をほぼ無料にする。中央のP⁻¹Pのペアが消えるので、Aᵏ = P Dᵏ P⁻¹で、対角行列を累乗するには各対角要素をその乗で累乗するだけ。繰り返し行列乗算は不要。
機械学習における位置づけ対角化は繰り返し線形写像の長期的振る舞いを説明し、ほぼすべての反復アルゴリズムは固定点近くの繰り返し写像です。訓練力学が収束するか爆発するかは、関連する固有値が単位円の内側か外側かにかかる。同じアイデアを対称行列に適用すると、PCAとオプティマイザーで使われる行列平方根を駆動するスペクトル分解になる。
▶ 対角化