Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Adam и AdamW различаются тем, как они обращаются с затуханием весов. Adam подмешивает штраф L2 прямо в адаптивное обновление градиента. AdamW применяет затухание весов как отдельный шаг сжатия.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Adam против AdamW