איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
קצב הלמידה הוא גודל הצעד של ירידת גרדיאנט. הגרדיאנט אומר לאיזה כיוון ההפסד עולה הכי מהר; האופטימייזר זז לכיוון ההפוך. קצב הלמידה η קובע כמה רחוק הוא זז.
קטן מדי והאימון זוחל. גדול מדי והעדכון עלול לדלג מעל האזור השימושי, לקפוץ אנה ואנה, או להתפוצץ. רוב בעיות האופטימייזר שנראות מסתוריות הן בעצם, קודם כל, בעיות של גודל צעד.
קיאק ממחיש את הפשרה הזו. חתירות זעירות שומרות על שליטה אבל מאטות את ההתקדמות. חתירות ענקיות עלולות לסובב את הקיאק מעבר לתעלה, ואז מבזבזים אנרגיה על תיקון. קצב הלמידה הוא אורך החתירה. נסו למטה: בחרו נקודת התחלה, ואז הגבירו את η בין הרצה להרצה וצפו איך התקדמות יציבה הופכת לחריגה וקפיצות.