איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
Adam משלב שני רעיונות: מומנטום עבור ממוצע הגרדיאנט, ושינוי קנה מידה בסגנון RMSProp עבור ממוצע הגרדיאנט בריבוע. לאחר מכן הוא מתקן הטיה מוקדמת, כי הממוצעים הנעים האלה מתחילים מאפס.
השילוב הזה הופך את Adam לבחירה ראשונית נפוצה בלמידה עמוקה, במיוחד כשהגרדיאנטים רועשים ולפרמטרים יש סקאלות שונות מאוד.
טייס אוטומטי יכול להשתמש בשני מכשירים בו-זמנית. אחד מראה את כיוון הסחיפה הממוצע של המטוס. השני מראה כמה טורבולנטי היה הכיוון הזה. Adam משתמש באותו רעיון: לנוע עם הסחיפה המתמשכת, אבל להתאים את התנועה בקנה מידה לפי הטורבולנציה האחרונה. באיור אפשר לצפות ישירות בחצי המומנטום של Adam: הגבירו את β והקפיצה דוהה. Adam מוסיף עוד טריק על גבי זה, ומחלק את הצעד של כל קואורדינטה בסקאלת הגרדיאנט האחרונה של אותה קואורדינטה עצמה.