モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
Adamは2つの考えを組み合わせる。平均勾配のためのモーメンタムと、平均二乗勾配のためのRMSProp流のスケーリングだ。そのうえで、これらの移動平均がゼロから始まることによる初期のバイアスを補正する。
その組み合わせにより、Adamは深層学習における一般的な第一選択肢になっている。特に勾配がノイズだらけで、パラメータのスケールが大きく異なる場合に有効だ。
オートパイロットは2つの計器を同時に使うことができる。1つは機体の平均的な漂流方向を示し、もう1つはその方向がどれだけ乱れてきたかを示す。Adamも同じ考えを使う。持続的な漂流に沿って動きつつ、最近の乱れによってその動きをスケールする。図では、Adamのモーメンタムの半分を直接見ることができる。βを上げると跳ね返りが薄れていく。Adamはさらにもう1つのしかけを重ねる。各座標のステップを、その座標自身の最近の勾配スケールで割るのだ。