איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
RMSProp מתאים את גודל הצעד בנפרד לכל פרמטר. הוא עוקב אחרי ממוצע נע של גרדיאנטים בריבוע, ואז מחלק את הגרדיאנט בשורש של הממוצע הזה.
האפקט פשוט: לקואורדינטות עם גרדיאנטים גדולים באופן עקבי יש צעדים אפקטיביים קטנים יותר; לקואורדינטות עם גרדיאנטים קטנים יש צעדים גדולים יחסית. זה עוזר כשסקאלות הגרדיאנט שונות מאוד זו מזו.
דמיינו מסועים במפעל שנושאים חבילות במשקלים שונים. אם כל מסוע נע לפי אותה פקודת מנוע גולמית, קווים כבדים עלולים לטלטל בעוד קווים קלים כמעט לא זזים. RMSProp עוקב אחרי העומס של כל מסוע ומתאים את הפקודה לכל מסוע בנפרד. האיור למטה מראה את הגאומטריה ש־RMSProp נבנה כדי להילחם בה: קערה מתוחה שבה הגרדיאנטים של קואורדינטה אחת גדולים באופן עקבי מאלה של האחרת. RMSProp מכווץ את הצעדים של הקואורדינטה התלולה, ובאופן יחסי, מגביר את אלה של הקואורדינטה השטוחה.