איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
אבחון אופטימייזר פירושו לקרוא את ריצת האימון לפני שמשנים את מתכון האימון. עקומת הפסד, נורמת גרדיאנט ועקומת ולידציה בדרך כלל אומרות לכם אם הבעיה היא גודל הצעד, הנתונים, קנה המידה, התאמת יתר, או מגבלה אמיתית של המודל.
זה לא ניחוש. לכל תבנית כשל יש צורה טיפוסית: הפסד שמתפוצץ, הפסד שטוח, הפסד רועש אך משתפר, הפסד אימון שיורד בעוד הפסד הולידציה עולה, או ערכי NaN פתאומיים.
רצועות בדיקה לאקווריום נותנות תמונה שימושית. לא מתקנים מים עכורים על ידי שפיכת כימיקלים אקראיים. קודם בודקים pH, אמוניה וניטראט, ואז מטפלים במדד שבאמת גרוע. אבחון אופטימייזר עושה את אותו הדבר לאימון: מודדים קודם, ואז משנים את הדבר שאליו המדידה מצביעה. השתמשו באיור כדי לכייל את העין. הריצו אותו פעם אחת לירידה בריאה, ואז הגבירו את η ושחזרו לפי דרישה את התבנית הלא יציבה, המקפצת.