モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
Adamは2つの考えを組み合わせる。平均勾配のためのモーメンタムと、平均二乗勾配のためのRMSProp流のスケーリングだ。そのうえで、これらの移動平均がゼロから始まることによる初期のバイアスを補正する。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.