モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
1次法は勾配を使う。2次法は曲率も使う。通常はヘッセ行列を通じてだ。曲率は、パラメータが動くにつれて勾配自体がどう変化するかを最適化アルゴリズムに教える。
ニュートン法はその曲率を使って、2次関数の最小値へ直接飛べるようなステップを選ぶ。その代償は、現代のニューラルネットワークではヘッセ行列が巨大になることだ。
クレーンの操作士は荷重表を使う。方向だけでは足りないからだ。荷重はブームも曲げ、その曲がりがどの動きが安全かを変える。2次最適化は、どれだけ動くかを決める前に、引っ張る力だけでなく曲がりも読み取る。図ではあなたが操作士の役だ。2つの曲率をスライドさせ、曲面がボウルになったり、ドームになったり、サドルになったりする様子を見てほしい。ヘッセ行列の固有値はまさにこの2つのつまみだ。