スケジュールとウォームアップ

モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで

訓練の全期間を通じて学習率を固定するのは、めったに最善ではない。訓練の初期は、パラメータが有用な設定から遠く離れているので大きな動きにも耐えられる。訓練の後半は、落ち着くために小さな動きを必要とすることが多い。

スケジュールはηを時間とともに変える。ウォームアップは小さな学習率から始め、本格的なスケジュールが始まる前に少しずつそれを大きくする。

凧を揚げるとき、糸を一気に張り詰めることはしない。まず上げさせ、風を感じ取ってから、安定するにつれて糸を調整する。ウォームアップはこの穏やかな発進だ。その後のスケジュールは、凧が飛んでいる間に糸をどう扱うかにあたる。