Dışbükeylik

Multivariate calculus from first principles

Bazı optimizasyon problemleri kolaydır, bazıları zordur ve sınırı çizen tek bir özellik vardır: dışbükeylik. Dışbükey bir fonksiyonun, sahte dipleri olmayan tek bir kâse biçimi vardır; dolayısıyla gradyanın sıfır olduğu bir yer bulmak, asıl küresel minimumu bulduğun anlamına gelir. Eyer yok, yerel tuzak yok.

Tanımlayıcı resim: bir fonksiyon, grafiğindeki herhangi iki nokta arasındaki düz kiriş, grafiğin kendisinin üstünde (ya da üzerinde) kalıyorsa dışbükeydir. Fonksiyon kendi kestirme yollarının üstüne hiçbir zaman taşmaz.

Pürüzsüz bir salata kasesini engebeli bir yumurta kartonuyla karşılaştırın. Kasenin gerçek bir dibi vardır: herhangi bir yerden bir misket yuvarlarsanız, daima aynı düşük noktaya yerleşir. Yumurta kartonu küçük tuzaklarla doludur, her biri misketi en düşük olandan önce yakalayan sahte bir diptir. Dışbükey bir fonksiyon salata kasesidir ve optimizasyonu kolaylaştıran şey garantili olan o tek minimumdur.

Bunun ML'deki yeriDışbükey/dışbükey-olmayan ayrımı ML'in çoğunu açıklar. Doğrusal ve lojistik regresyon dışbükeydir, dolayısıyla gradyan inişi kanıtlanabilir şekilde küresel optimuma ulaşır ve herhangi iki çalışma birbiriyle uyuşur. Derin ağlar son derece dışbükey değildir, kritik noktalarla doludur ve sonuçları başlangıç değerleri ile rastgelelikle değişir. Bu uçurum, klasik ML'in neden güvenilir, derin…
▶ Dışbükeylik
← Rⁿ'de Kritik NoktalarKısıtlı Optimizasyon →