モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
オプティマイザーの実験室は、統制された条件のもとでオプティマイザー同士を比較する。同じモデル、データ、バッチサイズ、スケジュールの予算、乱数シードの計画で実行し、それからオプティマイザーか、あるいはひとつの設定だけを変える。
その統制がなければ、オプティマイザーの比較はただの物語になってしまう。速く見える実行は、より良い学習率や違うスケジュール、あるいは運の良い乱数シードのおかげだったのかもしれない。
レーストラックのテスト走行日にも、これと同じ規律がある。2台の車を比較するなら、コース、タイヤ、燃料の量、天候をできる限り統制しておく。そうしなければ、車が速かったのか、条件が楽だったのかが分からなくなる。下の図は、小さな実験台だ。毎回同じ引き伸ばされた曲面を使い、η、β、κだけを変数にする。ちょうどひとつだけ変え、実行し、経路を比較する。それが、このレッスン全体の規律を、ひとつのウィジェットに凝縮したものだ。