Kısıtlı Optimizasyon

Multivariate calculus from first principles

Çoğu zaman her yerdeki en alçak noktayı değil, bir kısıta tabi en alçak noktayı istersin. Ağırlık normunu sınırlı tutarken kaybı en aza indir; noktalar doğru sınıflandırılmış kalırken marjı en üst düzeye çıkar. Lagrange çarpanları, bir kısıt eğrisi boyunca optimizasyon yapmanın standart aracıdır.

Akılda tutulacak geometri: kısıtlı optimumda, f'nin seviye eğrileri kısıt g(x) = 0'a teğettir. Eğer dokunmak yerine kesişselerdi, kısıt boyunca kayarak daha iyi bir değere ulaşabilirdin. Teğetlik, iki gradyanın aynı doğru boyunca yöneldiği, yani paralel olduğu anlamına gelir:

Skaler λ (Lagrange çarpanı) orantı faktörüdür. Her iki koşulu tek bir nesnede paketlemek Lagrangian L = f − λg'yi verir; ∇L = 0 kurmak tam olarak yukarıdaki denklemleri geri kazandırır.

Bunun ML'deki yeriKısıtlı optimizasyon ML'de her yerdedir. Destek vektör makineleri, sınıflandırma kısıtlarına tabi bir marjı en üst düzeye çıkarır ve onların dual problemi Lagrange çarpanlarından (eşitsizlikleri işleyen genişletme olan KKT koşulları aracılığıyla) kurulur. Kısıtlı ağırlık normları, RL'deki güven bölgeleri ve izdüşümlü gradyan yöntemlerinin hepsi '∇f, ∇g'ye paralel'e dayanır. λ çarpanı, bir kayba…
▶ Kısıtlı Optimizasyon
← DışbükeylikÇok Değişkenli Taylor →