التهيئة ومقياس الإشارة

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

يمكن أن يفشل التحسين قبل أن يبدأ إذا كان المقياس الابتدائي خاطئاً. فإذا كانت الأوزان صغيرة جداً، يمكن أن تتلاشى الإشارات والتدرجات. وإذا كانت كبيرة جداً، يمكن أن تنفجر التنشيطات والتدرجات أو تتشبّع.

تختار التهيئة توزيعاً ابتدائياً للأوزان كي يبقى حجم الإشارة مستقراً تقريباً وهي تتحرك عبر الطبقات. وتهيئة Xavier وHe قاعدتان شائعتان.

إضاءة خشبة المسرح يجب أن تبدأ عند المستوى الصحيح. خافتة جداً فيختفي الممثلون. وساطعة جداً فيغسل الضوء المشهد. تضبط التهيئة السطوع الابتدائي للإشارات كي تستطيع كل طبقة تمرير معلومات مفيدة أمامياً وخلفياً. يُظهر الشكل أدناه الخطر الجوهري كرياضيات صرفة: إشارة تُضرب في العامل نفسه تقريباً r في كل طبقة هي متتالية هندسية. حرّك r إلى أسفل أو أعلى 1 بقليل وراقب ما تفعله بها طبقات كثيرة: صمت أو انفجار. توجد التهيئة كي تُبقي ذلك العامل قرب 1.