الدقة المختلطة وتحجيم الخسارة

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

يستخدم التدريب بالدقة المختلطة صيغ أرقام أصغر من أجل السرعة والذاكرة. فبدلاً من تخزين كل حساب بالدقة الكاملة (أعداد عشرية 32-بت القياسية)، تستخدم عمليات كثيرة float16 أو bfloat16: صيغ 16-بت تأخذ نصف الذاكرة مقابل دقة أقل، وبالنسبة لـ float16 نطاقاً أضيق من الأحجام القابلة للتمثيل.

الخطر يكمن في المدى العددي. بعض التدرجات ضئيلة جداً. فإذا قُرِّب رقم ضئيل إلى الصفر، يفقد المُحسِّن معلومات. يحمي تحجيم الخسارة تلك التدرجات الصغيرة بضرب الخسارة قبل الانتشار العكسي، ثم قسمة التدرجات مجدداً إلى الأسفل.

ميزان مطبخ يُقرِّب إلى غرامات كاملة يمكن أن يفوته رشّة صغيرة من التوابل. فإذا وزنت عشر رشّات متطابقة معاً، يستطيع الميزان رؤية المجموع. ثم تقسم على عشرة لاسترجاع رشّة واحدة. يستخدم تحجيم الخسارة الحيلة نفسها: اجعل القيمة الصغيرة أسهل تمثيلاً، ثم أعِد تحجيمها. الشكل أدناه تذكير بما هو على المحك. لا يعمل النزول إلا إذا نجا تدرج كل خطوة من الحساب؛ والدقة لا تُغيّر الحلقة، بل تقرر ما إذا كانت الميول الضئيلة قرب النهاية الصغرى لا تزال مرئية لها.