מומנטום

איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam

מומנטום נותן לירידת גרדיאנט זיכרון. במקום להשתמש רק בגרדיאנט הנוכחי, הוא שומר ממוצע נע של גרדיאנטים אחרונים וצועד בכיוון המצטבר הזה.

זה עוזר בשתי דרכים: זה מחליק גרדיאנטים רועשים, וזה בונה מהירות לאורך כיוונים שבהם הגרדיאנטים ממשיכים להסכים ביניהם. לרוחב גיא צר, גרדיאנטים צדדיים מתחלפים מבטלים זה את זה; לאורך הכיוון השימושי, גרדיאנטים חוזרים מצטברים.

כדור באולינג לא שוכח את הדחיפה האחרונה. דחיפה אחת מתחילה את התנועה שלו, ודחיפות חוזרות באותו כיוון בונות מהירות. דחיפות צדדיות קטנות לא הופכות את הכיוון שלו באופן מיידי. מומנטום גורם לאופטימיזציה להתנהג פחות כמו סדרת צעדים נפרדים ויותר כמו תנועה עם אינרציה. צפו בזה קורה למטה: הריצו קודם ירידה רגילה עם β = 0, ואז הגבירו את β והריצו שוב. הקפיצה מצד לצד דוהה והמסלול צובר מהירות לאורך העמק.