איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
מוצא קצב הלמידה הוא ריצת אבחון קצרה. מתחילים בקצב למידה זעיר, מגדילים אותו במהלך הרבה מיני-אצוות, וצופים איך ההפסד מגיב.
המטרה כאן אינה לסיים אימון; המטרה היא לצוד את הטווח שבו המודל מתחיל ללמוד לפני שההפסד נעשה לא יציב.
צילום מכוון תערוכת חשיפה (exposure bracketing) משתמש באותו רעיון. מצלמים סדרת תמונות מכהה מדי ועד בהיר מדי, ואז בוחרים את הטווח שבו הפרטים ברורים. המוצא עושה את אותו הדבר עם צעדי אימון, סורק את η מביישן ועד פזיז, ומסמן היכן הלמידה נעשית חדה. אפשר לגלם מוצא ידני באיור למטה: הריצו עם η קטן, דחפו אותו מעלה, הריצו שוב. איפשהו הגלישה החלקה הופכת לחריגה ולקפיצה, וזה הקצה שממנו הכול מתפוצץ, שהסריקה מחפשת.