Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Kayıp yüzeyi, parametre uzayı üzerinde L(θ)'nın şeklidir. Sinir ağları için yüksek boyutlu ve dışbükey değildir: geniş düz kesimleri, keskin kıvrılan kesimleri, bazı yönlerde yükselirken diğerlerinde düşen eyer noktaları ve genellikle birbirine bağlı olduğu ortaya çıkan birçok ayrı düşük kayıplı bölgesi vardır.
Gerçek yüzeyi doğrudan görselleştiremezsin, ama yerel geometri hakkında akıl yürütebilirsin: gradyan, eğrilik, gürültü ve farklı optimize edicilerin bunların içinde nasıl hareket ettiği.
Güçlü bir rüzgârdan sonraki bir kum tepeleri alanının geniş düz lekeleri, keskin sırtları ve bir yönden düz görünüp başka bir yönden eğimli olan yolları vardır. Bir kayıp yüzeyinin de aynı sorunu vardır: yerel şekil yöne bağlıdır. Aşağıdaki şekilde bu tür en önemli şekli inşa edebilirsin: biri pozitif diğeri negatif olana kadar iki eğriliği kaydır. Bu bir eyerdir, bir doğru boyunca düz, başka bir doğru boyunca eğimlidir ve yüksek boyutlu yüzeylere hâkim olan durağan nokta türüdür.