モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
学習率ファインダーは、短い診断用の実行だ。ごく小さな学習率から始め、多数のミニバッチにわたってそれを増やしながら、損失がどう反応するかを観察する。
ここでは訓練を完了させようとしているわけではない。損失が不安定になる前に、モデルが学習し始める範囲を探し当てようとしているのだ。
カメラの露出ブラケット撮影も、同じ発想だ。暗すぎるものから明るすぎるものまで一連のショットを撮り、ディテールがはっきり見える範囲を選ぶ。ファインダーも訓練ステップに対して同じことをする。ηを臆病な値から向こう見ずな値までスイープし、学習がくっきりし始める場所に印をつける。下の図では、手動のファインダーを自分の手で再現できる。小さなηで実行し、少し上げてまた実行する。どこかで滑らかな滑り込みが、行き過ぎと跳ね返りに変わる。それこそが、スイープが探している爆発の境界だ。