איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
קצב למידה קבוע לרוב אינו הטוב ביותר לאורך כל ריצת האימון. בתחילת האימון אפשר להרשות תנועות גדולות יותר, כי הפרמטרים רחוקים מהגדרות שימושיות. בהמשך האימון נדרשות בדרך כלל תנועות קטנות יותר כדי להתייצב.
תזמון משנה את η עם הזמן. חימום מתחיל עם קצב למידה קטן ומעלה אותו בהדרגה לפני שהתזמון הראשי מתחיל.
כשמשגרים עפיפון, לא מושכים את החוט למתח מלא באופן מיידי. נותנים לו לעלות, מרגישים את הרוח, ואז מכווננים את החוט תוך כדי שהוא מתייצב. חימום הוא השיגור העדין הזה. התזמון שבא אחריו הוא איך מנהלים את החוט אחרי שהעפיפון כבר באוויר.