كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam
يُكيّف RMSProp حجم الخطوة بشكل منفصل لكل معلمة. فهو يتتبّع متوسطاً متحركاً لمربعات التدرجات، ثم يقسم التدرج على جذر ذلك المتوسط.
الأثر بسيط: الإحداثيات ذات التدرجات الكبيرة باستمرار تحصل على خطوات فعلية أصغر؛ والإحداثيات ذات التدرجات الصغيرة تحصل على خطوات أكبر نسبياً. هذا يساعد عندما تختلف مقاييس التدرج اختلافاً كبيراً.
تخيّل أحزمة نقل في مصنع تحمل طروداً بأوزان مختلفة. إذا تحرك كل حزام بأمر محرك خام واحد، يمكن للخطوط الثقيلة أن تترنح بينما بالكاد تتحرك الخطوط الخفيفة. RMSProp يراقب حمل كل حزام ويُكيّف الأمر لكل حزام على حدة. والشكل أدناه يُظهر الهندسة التي صُمم RMSProp لمواجهتها: وعاء ممطوط تكون فيه تدرجات إحداثي واحد أكبر باستمرار من تدرجات الآخر. RMSProp يُقلّص خطوات الإحداثي شديد الانحدار، ويعزّز نسبياً خطوات الإحداثي المسطح.