איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
Adam ו-AdamW נבדלים בדרך שבה הם מטפלים ב-weight decay. Adam מערבב עונש L2 לתוך עדכון הגרדיאנט האדפטיבי. AdamW מיישם את ה-weight decay כצעד כיווץ נפרד.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Adam מול AdamW