ヘッセ行列

第一原理からの多変数微分積分

勾配がすべての1階微分をまとめた。ヘッセ行列はスカラー関数f: Rⁿ → Rのすべての2階微分を行列にまとめる。勾配が傾きを与えるところで、ヘッセは曲率を与える:動き回るとき傾き自体がどう変わるか。

クレローの定理(レッスン6)によりHᵢⱼ = Hⱼᵢなので、ヘッセは関心のある滑らかな関数について常に対称です。それは贈り物:対称行列は実の固有値と直交する固有ベクトルを持ち、その固有値がまさに主方向に沿った曲率です。

勾配が表面のスピードメーターであるとすれば、ヘッセ行列はその曲率ダッシュボードです。傾斜自体がすべての方向で一度にどのように曲がっているかを報告します。自分の周りすべてで上向きに曲がる表面は谷底のように読み取れ、すべてで下向きに曲がる場合はドームの頂上のように読み取れ、ある方向で上がり別の方向で下がる場合はサドル(鞍点)です。ヘッセ行列は、そのすべてを2次微分の1つの対称なグリッドに詰め込みます。

機械学習における位置づけ勾配降下法が長く狭いバレーをゆっくり降りて急な壁で跳ね返るとき、ヘッセがその理由を説明する。その固有値が各方向の曲率で、それらの広い spread(高い条件数)がまさにそのバレー:一方の方向で急、もう一方でほぼ平ら。ニュートンのような2次法、そして精神においてAdamのパラメータごとのスケーリングは、ヘッセを読んでこれを補正し経路を真っ直ぐにする。
▶ ヘッセ行列
← ヤコビアンの幾何ヘッセ行列の幾何 →