モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
学習率は勾配降下法の歩幅だ。勾配は損失が最も速く上がる方向を示し、最適化アルゴリズムはその逆方向に動く。学習率ηは、どれだけ遠くまで動くかを決める。
小さすぎれば訓練は這うように進む。大きすぎれば更新が有用な領域を飛び越えたり、跳ね返ったり、発散したりする。謎めいて見える最適化アルゴリズムの問題の多くは、実はまずステップサイズの問題である。
カヤックがこのトレードオフを示している。小さなパドルの一漕ぎはコントロールを保つが進みは遅い。大きな一漕ぎは水路を越えてカヤックを回してしまい、その後は修正にエネルギーを無駄にする。学習率はこの一漕ぎの長さだ。下で試してみよう。開始点を選び、実行のたびにηを上げて、着実な進歩が行き過ぎと跳ね返りに変わる様子を見てほしい。