איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
רגולריזציה מוצגת לרוב כעונש שמתווסף להפסד. מבחינה גאומטרית, היא משנה אילו וקטורי פרמטרים נחשבים זולים או יקרים. זה משנה את הצורה של בעיית האופטימיזציה. שני סימנים חוזרים למטה: R(θ) נותן שם לאיבר העונש, ו־λ (למדא) קובע עד כמה הוא נחשב חזק.
שני העונשים הנפוצים ביותר מתנהגים אחרת: L2 מרתיע משקלים גדולים בצורה חלקה, בעוד ל־L1 יש פינות שיכולות לדחוף חלק מהמשקלים בדיוק לאפס.
אריזת מזוודה עם מגבלת משקל מחמירה בעלת אותה צורה. כל פריט יכול לעזור, אבל פריטים כבדים מנצלים את התקציב מהר. רגולריזציה גורמת לבחירות פרמטרים גדולות לנצל תקציב, כך שהמודל שומר עליהן רק כשהן עוזרות מספיק. האיור מראה למה כדאי שיהיה תקציב: ככל שגמישות המודל גדלה, שגיאת האימון ממשיכה לרדת בעוד ששגיאת האימות בסופו של דבר פונה ועולה בחזרה. רגולריזציה היא הכפתור שמרסן את הגמישות לפני שהעלייה הזו מגיעה.