مقدمة للتنزيل التدرجي

التفاضل والتكامل أحادي المتغير من المبادئ الأولى

تخيل أنك تريد الوصول إلى أدنى نقطة على منحنى ولكنك تستطيع رؤية الأرض مباشرة تحت قدميك فقط - يمكنك الشعور بالـ ميل، لا أكثر. ماذا تفعل؟ بسيط: اخطو في الاتجاه الهابط ثم شعر مرة أخرى، ثم خطوة أخرى. تكرر. هذا هو التنزيل التدرجي، الخوارزمية التي تقوم بتدريب كل نموذج ذكاء اصطناعي حديث تقريبًا.

تخيل المشي للأسفل في ضباب كثيف لدرجة أنك لا تستطيع رؤية خطوة واحدة للأمام. لا يمكنك رؤية قاع الوادي، لكن لا يزال بإمكانك الشعور بقدمك بأي اتجاه تنحدر الأرض للأسفل، وتتخذ خطوة في ذلك الاتجاه. اشعر، اخطُ، اشعر، اخطُ. انحدار التدرج هو بالضبط هذا التبديل الأعمى والصبور نحو أدنى مستوى للأرض.

مكتوب كقاعدة تحديث موقعك في كل خطوة:

أين يظهر هذا في تعلّم الآلةهذه السطر الوحيد هو قلب كل محسن في التعلم العميق. تحديث الوزن هو نفس الروح: w ← w − η∇L, حيث ∇L هو مجرد المشتق متعدد الأبعاد (الميل) من الدورة القادمة. SGD، Adam، RMSProp وغيرها هي جميعها تحسينات لهذا الهيكل الأساسي - خطوات ذكيةer، الزخم، معدل لكل معلمة - ولكن العظام هي بالضبط القاعدة أعلاه. الغير محدبة هو السبب في أن الشبكات العميقة ليس لديها الحد الأدنى الوحيد "ذا"، لماذا تتدرب اثنين من…
▶ مقدمة للتنزيل التدرجي
← التحدّببروتوكول رسم متكامل →