Adam

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

يجمع Adam بين فكرتين: الزخم لمتوسط التدرج، وتحجيم على طراز RMSProp لمتوسط التدرج المربّع. ثم يُصحّح التحيّز المبكر لأن تلك المتوسطات المتحركة تبدأ من الصفر.

هذا المزيج يجعل Adam خياراً أولياً شائعاً في التعلّم العميق، خصوصاً عندما تكون التدرجات صاخبة وتكون للمعلمات مقاييس مختلفة جداً.

يمكن للطيار الآلي أن يستخدم أداتين في آن واحد. تُظهر الأولى اتجاه انحراف الطائرة المتوسط. وتُظهر الثانية مدى اضطراب ذلك الاتجاه. يستخدم Adam الفكرة نفسها: يتحرك مع الانحراف المستمر، لكنه يُقاس بمقدار الاضطراب الأخير. في الشكل يمكنك مشاهدة نصف الزخم في Adam مباشرة: ارفع β ويتلاشى الارتداد. ويضيف Adam خدعة أخرى فوق ذلك، إذ يقسم خطوة كل إحداثي على مقياس التدرج الأخير الخاص بذلك الإحداثي.