معدل التعلم

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

معدل التعلم هو حجم خطوة النزول التدرجي. يخبرك التدرج بالاتجاه الذي ترتفع فيه الخسارة بأسرع ما يمكن؛ ويتحرك المُحسِّن في الاتجاه المعاكس. ومعدل التعلم η يقرر إلى أي مدى يتحرك.

إن كان صغيراً جداً يزحف التدريب. وإن كان كبيراً جداً يمكن أن يقفز التحديث فوق المنطقة المفيدة، أو يرتد، أو ينفجر. ومعظم مشكلات المُحسِّن التي تبدو غامضة هي في جوهرها مشكلات في حجم الخطوة أولاً.

يوضح قارب الكاياك هذه المفاضلة. ضربات المجداف الصغيرة تحافظ على التحكم لكنها تجعل التقدم بطيئاً. والضربات الضخمة يمكن أن تُخرج الكاياك من القناة، فتهدر عندها طاقة في التصحيح. ومعدل التعلم هو طول الضربة. جرّب ذلك أدناه: اختر نقطة بداية، ثم ارفع η بين التشغيلات وراقب التقدم الثابت يتحول إلى تجاوز وارتداد.