모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
Adam과 AdamW는 가중치 감쇠를 다루는 방식이 다릅니다. Adam은 L2 벌점을 적응형 그래디언트 업데이트 안에 섞어 넣습니다. AdamW는 가중치 감쇠를 별도의 축소 단계로 적용합니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Adam vs AdamW