モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
AdamとAdamWは、重み減衰の扱い方が異なる。AdamはL2ペナルティを、適応的な勾配更新の中に混ぜ込む。AdamWは重み減衰を、独立した縮小ステップとして適用する。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.