التنظيم بوصفه هندسة

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

غالباً ما يُقدَّم التنظيم بوصفه عقوبة تُضاف إلى الخسارة. وهندسياً، فإنه يُغيّر أي متجهات معلمات تُعدّ رخيصة أو مكلفة. وذلك يُغيّر شكل مسألة التحسين. ويتكرر رمزان أدناه: R(θ) يُسمّي حدّ العقوبة، وλ (لامدا) يحدد قوة تأثيره.

العقوبتان الأكثر شيوعاً تتصرفان بشكل مختلف: L2 تُثبّط الأوزان الكبيرة بسلاسة، بينما لـ L1 زوايا يمكن أن تدفع بعض الأوزان إلى الصفر تماماً.

حزم حقيبة سفر بحد وزن صارم له الشكل نفسه. فكل قطعة قد تفيد، لكن القطع الثقيلة تستهلك الميزانية بسرعة. والتنظيم يجعل اختيارات المعلمات الكبيرة تستهلك الميزانية، بحيث يحتفظ بها النموذج فقط عندما تفيد بما يكفي. ويُظهر الشكل لماذا تستحق الميزانية أن تكون موجودة: مع نمو مرونة النموذج، يستمر خطأ التدريب في الانخفاض بينما ينعكس خطأ التحقق للأعلى في النهاية. والتنظيم هو المقبض الذي يكبح المرونة قبل وصول ذلك الانعكاس.