עצירה מוקדמת

איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam

עצירה מוקדמת משתמשת בביצועי הולידציה כדי להחליט מתי לעצור את האימון. אם הפסד הולידציה מפסיק להשתפר לפרק זמן ארוך מספיק, שומרים את הצ'קפוינט הטוב ביותר ועוצרים. ההתקדמות כאן נמדדת באפוקים: אפוק אחד הוא מעבר שלם אחד על נתוני האימון, והולידציה נבדקת בדרך כלל אחרי כל אחד כזה.

זהו גם חוסך חישוב וגם רגולטור. הוא מונע מהמודל להמשיך להתאים את עצמו לקבוצת האימון אחרי שביצועי הולידציה כבר החלו להיחלש.

מצנם לחם נותן את האינטואיציה הנכונה. הוצאת פרוסה מוקדם מדי משאירה אותה חיוורת. חכייה ארוכה מדי שורפת אותה. צופים בטוסט ועוצרים כשהוא מגיע לצבע הטוב ביותר, לא כשגוף החימום פעל הכי הרבה זמן שאפשר. האיור למטה מראה מאיפה מגיעים נתוני ה"צפייה": מפרישים חלק מנתוני האימון, או מסובבים קיפולים כמוצג, כך שהמודל נשפט על דוגמאות שהוא מעולם לא התאים אליהן. עצירה מוקדמת קוראת את האות שלה בדיוק מהפרוסה המופרשת הזו.

איפה זה ב־MLעצירה מוקדמת נפוצה כשזמן האימון יקר או כשהתאמת יתר מופיעה לפני מספר האפוקים המתוכנן. היא פשוטה, אך היא דורשת נתוני ולידציה אמינים ושמירת צ'קפוינטים.
▶ עצירה מוקדמת
← מוצא קצב הלמידהמעבדת אופטימייזרים →