モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
モーメンタムは勾配降下法に記憶を与える。現在の勾配だけを使う代わりに、最近の勾配の移動平均を保持し、その積み重なった方向へステップを踏む。
これは2つの点で役立つ。ノイズの多い勾配を滑らかにし、勾配が一貫して同意し続ける方向に速度を築く。細い峡谷を横切る左右交互の勾配は打ち消し合うが、有用な方向では繰り返しの勾配が積み重なる。
ボウリングの球は直前の一押しを忘れない。1回の押しが動き始めさせ、同じ方向への繰り返しの押しが速度を築く。小さな横からのつつきでは即座に逆転しない。モーメンタムは、最適化をばらばらのステップの集まりではなく、慣性を持った運動のように振る舞わせる。下で実際に見てみよう。まずβ = 0で普通の降下法を実行し、次にβを上げてもう一度実行する。左右の跳ね返りが薄れ、経路が谷に沿って速度を集めていく。