モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
訓練の全期間を通じて学習率を固定するのは、めったに最善ではない。訓練の初期は、パラメータが有用な設定から遠く離れているので大きな動きにも耐えられる。訓練の後半は、落ち着くために小さな動きを必要とすることが多い。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ スケジュールとウォームアップ