قص التدرج

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

يحدّ قص التدرج من مقدار ضخامة التحديث. فإذا أنتجت دفعة تدرجاً هائلاً، يُصغّره القص قبل خطوة المُحسِّن.

لا يُصلح القص الهدف ولا البيانات. فكّر فيه كقاعدة أمان: لا ينبغي السماح لدفعة واحدة متطرفة بأن تقذف المعاملات عبر سطح الخسارة.

منظّم سرعة المصعد هو التشبيه المناسب. يتحرك المصعد بشكل طبيعي، لكن إذا بدأ التسارع أكثر من اللازم، يحدّ المنظّم من السرعة قبل أن تصبح الحركة خطيرة. يسمح قص التدرج للتدرجات الطبيعية بالمرور ويحدّ من الارتفاعات الخطيرة. يُظهر الشكل أدناه الجسم الذي يُقص: اسحب النقطة حول الوعاء وراقب سهم التدرج يتمدد مع ازدياد انحدار السطح. يحدّ القص طول ذلك السهم عند c مع الحفاظ على اتجاهه.

أين يظهر هذا في تعلّم الآلةقص التدرج أداة استقرار بسيطة. غالباً ما يُقرَن بـ AdamW، والإحماء، والدقة المختلطة، لأن تلك الوصفات قد تعاني لولا ذلك من ارتفاعات تدرج نادرة لكنها مدمّرة.
▶ قص التدرج
← تشخيص المُحسِّنAdam مقابل AdamW →