Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Dışbükey bir kaybın güçlü bir garantisi vardır: her yerel minimum küreseldir. Bu, optimizasyonu kavramsal olarak tertemiz yapar. Birçok klasik ML amaç fonksiyonu dışbükeydir; derin ağlar ise genellikle değildir.
Dışbükeylik yine de öğrenmeye değer, çünkü referans durumu verir. Kötü yerel tuzaklar, eyer karmaşıklıkları ve ciddi yüzey sürprizleri olmasaydı optimizasyonun nasıl görüneceğini sana anlatır.
Sinyal yüzeyi pürüzsüz ve tek tepeli olduğunda bir uydu çanağının tek ve temiz bir hedefleme yönü vardır. Buruşmuş bir folyonun ise ışığı yerel olarak yakalayabilen birçok küçük parlak yüzeyciği vardır. Dışbükey optimizasyon çanağa daha yakındır; derin ağ eğitimi ise folyoya daha yakındır. Aşağıdaki şekil, dışbükey bir eğri üzerindeki tanımlayıcı testi gösterir: iki uç noktayı kaydır ve aralarındaki düz kirişin eğrinin asla altına inmediğini fark et.