كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam
يختلف Adam وAdamW في طريقة تعاملهما مع اضمحلال الوزن. يمزج Adam عقوبة L2 في تحديث التدرج التكيّفي. أما AdamW فيُطبّق اضمحلال الوزن كخطوة تقليص منفصلة.
هذا الفصل مهم لأن Adam يعيد قياس التدرجات لكل معامل على حدة. فإذا مُزج اضمحلال الوزن في تلك التدرجات، فسيُعاد قياس التنظيم أيضاً بطريقة تعتمد على المعامل.
تخيّل مكتبة تريد أن تُعاد الكتب في وقتها. غرامة ثابتة عن كل يوم تأخير سهلة الفهم: تُطبَّق بالطريقة نفسها على كل مستعير. أما طيّ الغرامة داخل صيغة عضوية شخصية خاصة بكل مستعير فيجعل العقوبة غير متساوية وصعبة التنبؤ. AdamW هو الغرامة الثابتة المنفصلة؛ أما Adam مع L2 المُقترن فيطوي العقوبة داخل آليته الخاصة بكل معامل أولاً. ولماذا نُعاقب أصلاً؟ الشكل يحمل الإجابة: مرونة متنامية تستمر في خفض خطأ التدريب بينما يتحوّل خطأ التحقق في النهاية إلى الأعلى. اضمحلال الوزن أحد الأدوات الرئيسية للبقاء قرب النقطة المثلى.