مكتشف معدل التعلم

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

مكتشف معدل التعلم هو تشغيلة تشخيصية قصيرة. ابدأ بمعدل تعلم ضئيل جداً، وزِده تدريجياً عبر دفعات صغيرة كثيرة، وراقب كيف تستجيب الخسارة.

أنت لا تحاول إنهاء التدريب هنا؛ بل تبحث عن النطاق الذي يبدأ فيه النموذج بالتعلّم قبل أن تصبح الخسارة غير مستقرة.

تعريض الكاميرا المتدرّج (bracketing) يستخدم الفكرة نفسها. تلتقط سلسلة من اللقطات من الأشد عتمة إلى الأشد سطوعاً، ثم تختار النطاق الذي يكون فيه التفصيل واضحاً. يفعل المكتشف الشيء نفسه بخطوات التدريب، فيمسح η من الخجول إلى المتهوّر ويُحدّد أين يصبح التعلّم واضحاً. يمكنك تمثيل مكتشف يدوي في الشكل أدناه: شغّل بمعدل η صغير، ارفعه قليلاً، شغّل مجدداً. في مكان ما يتحوّل الانزلاق السلس إلى تجاوز وتذبذب، وتلك هي حافة الانفجار التي يبحث عنها المسح.