تضاريس الخسارة

كيف تتعلّم النماذج فعلياً — من الانحدار التدريجي البسيط إلى Adam

تضاريس الخسارة هي شكل L(θ) عبر فضاء المعلمات. وبالنسبة للشبكات العصبية فهي عالية الأبعاد وغير محدّبة: تحتوي على امتدادات مسطحة واسعة، وأخرى شديدة الانحناء، ونقاط سرج ترتفع في بعض الاتجاهات بينما تنخفض في أخرى، ومناطق منخفضة الخسارة منفصلة كثيرة غالباً ما يتبيّن أنها متصلة.

لا يمكنك تصوّر التضاريس الحقيقية مباشرة، لكن يمكنك التفكير في الهندسة المحلية: التدرج، والتقوّس، والضوضاء، وكيف تتحرك مُحسِّنات مختلفة عبرها.

حقل كثبان بعد رياح قوية له بقع مسطحة واسعة، وحواف حادة، ومسارات تبدو مستوية من اتجاه واحد لكنها منحدرة من اتجاه آخر. ولتضاريس الخسارة المشكلة نفسها: الشكل المحلي يعتمد على الاتجاه. ويمكنك بناء أهم شكل من هذا النوع في الشكل أدناه: حرّك التقوّسين حتى يصبح أحدهما موجباً والآخر سالباً. ذلك سرج، مستوٍ على طول خط واحد ومنحدر على طول آخر، وهو نوع النقطة الساكنة الذي يهيمن على التضاريس عالية الأبعاد.