الزخم

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

يمنح الزخم النزول التدرجي ذاكرة. فبدلاً من استخدام التدرج الحالي فقط، يحتفظ بمتوسط متحرك للتدرجات الأخيرة ويتخذ خطوة في ذلك الاتجاه المتراكم.

هذا يساعد بطريقتين: فهو يُنعّم التدرجات الصاخبة، ويبني سرعة على طول الاتجاهات التي تتفق فيها التدرجات باستمرار. عبر واد ضيق، تُلغي التدرجات الجانبية المتناوبة بعضها بعضاً؛ أما على طول الاتجاه المفيد، فتتراكم التدرجات المتكررة.

كرة البولينغ لا تنسى آخر دفعة. دفعة واحدة تجعلها تتحرك، ودفعات متكررة في الاتجاه نفسه تبني سرعة. أما الدفعات الجانبية الصغيرة فلا تعكس اتجاهها فوراً. الزخم يجعل التحسين يتصرف أقل كخطوات منفصلة وأكثر كحركة ذات قصور ذاتي. شاهد ذلك يحدث أدناه: شغّل النزول العادي أولاً مع β = 0، ثم ارفع β وشغّله مرة أخرى. الارتداد الجانبي يتلاشى والمسار يكتسب سرعة على طول الوادي.