איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
Adam ו-AdamW נבדלים בדרך שבה הם מטפלים ב-weight decay. Adam מערבב עונש L2 לתוך עדכון הגרדיאנט האדפטיבי. AdamW מיישם את ה-weight decay כצעד כיווץ נפרד.
ההפרדה הזו חשובה כי Adam משנה את קנה המידה של הגרדיאנטים בנפרד לכל פרמטר. אם ה-weight decay מעורבב לתוך הגרדיאנטים האלה, גם הרגולריזציה משתנה בקנה מידה באופן תלוי-פרמטר.
חשבו על ספרייה שרוצה שספרים יוחזרו בזמן. קנס אחיד לכל יום איחור קל להבין: הוא חל באותו אופן על כל שואל. קיפול הקנס לתוך הנוסחה האישית של כל שואל הופך את העונש ללא אחיד וקשה לחיזוי. AdamW הוא הקנס האחיד והנפרד; Adam עם L2 מצומד מקפל את העונש למכונה הפר-פרמטרית שלו קודם. ולמה בכלל להעניש? האיור נותן את התשובה: גמישות שגדלה ממשיכה להוריד את שגיאת האימון בעוד ששגיאת הולידציה בסופו של דבר פונה כלפי מעלה. weight decay הוא אחד הכלים המרכזיים להישאר קרוב לנקודה האופטימלית.