النزول التدرجي العشوائي والدفعات الصغيرة

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

النزول التدرجي بالدفعة الكاملة يستخدم كل مثال تدريب لحساب كل تحديث؛ أما النزول التدرجي العشوائي فيذهب إلى الطرف الآخر ويستخدم مثالاً واحداً فقط. والنزول التدرجي بالدفعات الصغيرة يقع بينهما بدفعة صغيرة، وهذا التوفيق هو ما يعمل عليه التعلّم العميق فعلياً.

تدرج الدفعة الصغيرة هو تقدير صاخب للتدرج الكامل. وهو أرخص وغالباً أكثر فائدة من التدرج الكامل الدقيق لأنه يمنح تحديثات سريعة كثيرة، ولأن ضوضاءه يمكن أن تساعد الاستكشاف.

فحوصات جودة حبوب الإفطار تستخدم التوفيق نفسه. فتح كل علبة دقيق لكنه بطيء. وفحص علبة واحدة صاخب. أما فحص صينية من العلب فيعطي تقديراً مفيداً بسرعة. والدفعات الصغيرة هي تلك الصواني. والشكل أدناه يجعل الإحصاء مرئياً: اضغط تشغيل وراقب متوسطاً جارياً يستقر مع وصول عيّنات أكثر. تدرج الدفعة الصغيرة هو نفس نوع الكائن، متوسط يستقر مع نمو الدفعة.