二次形式

線形写像、ベクトル、行列の幾何学と代数

二次形式xᵀAxはベクトルを取りxに2次的に変化する単一の数を返す、ax²の行列版です。xがすべての方向にわたるとき、この数は曲面を描き、行列A(対称とする)がその曲面の形を決める。

その固有値は固有軸に沿った曲率で、それらの符号が曲面を完全に分類する。すべて正:上に開くボウル(正定値)できれいな最小。すべて負:ドーム(負定値)で最大。混合符号:サドル(不定)、ある方向で上、別の方向で下。

図で固有値の符号を切り替えて曲面がボウル、ドーム、サドルの間に変形する様子を見てください。

機械学習における位置づけ二次形式δᵀHδは損失のテイラー展開の2次項で、それが局所曲率です。正定値ヘッセは局所的最小(ボウル)を意味し;不定はサドルを意味し、高次元損失曲面はサドルで溢れる。この曲率分析が2次オプティマイザー(ニュートン法)を駆動し、訓練が最小で立ち往生するのではなくサドルを脱出する理由を説明する。
▶ 二次形式
← 射影ベクトルとRⁿの幾何 →