איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
שיטות מסדר ראשון משתמשות בגרדיאנטים. שיטות מסדר שני משתמשות גם בעקמומיות, בדרך כלל דרך ההסיאן. העקמומיות אומרת לאופטימייזר איך הגרדיאנט עצמו משתנה כשהפרמטרים זזים.
שיטת ניוטון משתמשת בעקמומיות הזו כדי לבחור צעד שיכול לקפוץ ישירות אל המינימום של פונקציה ריבועית. המחיר הוא שההסיאנים ענקיים ברשתות נוירונים מודרניות.
מפעיל עגורן משתמש בטבלת עומסים כי הכיוון לבדו לא מספיק. העומס גם מכופף את הזרוע, וההתכופפות הזו משנה אילו תנועות בטוחות. אופטימיזציה מסדר שני קוראת את ההתכופפות, לא רק את המשיכה, לפני שמחליטים כמה רחוק לזוז. באיור אתם משחקים את המפעיל: הזיזו את שתי העקמומיות וצפו איך המשטח הופך לקערה, לכיפה, או לאוכף. הערכים העצמיים של ההסיאן הם בדיוק שני הכפתורים האלה.