تراكم التدرج

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

يُحاكي تراكم التدرج دفعة أكبر عندما تكون الذاكرة محدودة. فبدلاً من اتخاذ خطوة بعد كل دفعة دقيقة، تجمع تدرجات عدة دفعات دقيقة، ثم تتخذ خطوة مُحسِّن واحدة.

حجم الدفعة الفعلي هو حجم الدفعة الدقيقة مضروباً في عدد خطوات التراكم. هذا يتيح لوحدة معالجة رسوميات صغيرة أن تتصرف أشبه بأنها تدربت على دفعة أكبر.

برميل تجميع مياه الأمطار يجسّد الفكرة. لا يستطيع كوب صغير سقي الحديقة كلها دفعة واحدة، لذا تسكب عدة أكواب في برميل ثم تستخدم كمية البرميل. يجمع تراكم التدرج عدة مساهمات تدرج صغيرة قبل تحديث واحد. الشكل أدناه هو هذه العملية حرفياً: كل حد جديد كوب واحد، والأعمدة المتصاعدة هي البرميل وهو يمتلئ نحو مجموعه. تراكم التدرج مجموع جزئي من التدرجات تصرفه كخطوة واحدة.