Rⁿ'de Kritik Noktalar

Multivariate calculus from first principles

Çok boyutta optimizasyon, tam olarak 1 boyutta başladığı yerden başlar: eğimin sıfır olduğu yeri bul. Ama artık 'eğim' tüm gradyan vektörüdür, dolayısıyla bir kritik nokta, her bir kısmi türevin aynı anda kaybolduğu yerdir, ∇f = 0.

Bu gereklidir ama yeterli değildir: sıfır gradyan bir minimumu, bir maksimumu ya da bir eyer noktasını işaret edebilir. Bunları ayırt etmek için Hessian'ı devreye sokar ve onun özdeğer işaretlerini okursun — Ders 13'teki ikinci dereceden test. Sıfır gradyan adayı bulur; Hessian onu sınıflandırır.

Tepelik bir golf sahasında yürüyün ve düz noktaları, bir topun hareketsiz durabileceği yerleri arayın. Bir tepe üzerindeki başlangıç noktası, bir çukurdaki alçak yeşillik ve bir sırt boyunca uzanan düz semer, zeminin anlık olarak her yönde düz olduğu noktalardır. Bu düzlük ∇f = 0'dır; bir zirvede, bir çukurda veya bir semerde olup olmadığınız, Hessian'ın cevapladığı ayrı bir sorudur.

Bunun ML'deki yeriHer gradyan tabanlı eğitim çalışması, ∇L = 0 arayışıdır: optimize edici, gradyan ihmal edilebilecek kadar küçük olana dek adım atmayı sürdürür. Eyer noktası hikâyesi yüzünden (Ders 13), genellikle bulduğu şey 'asıl' küresel minimum değil, neredeyse eşdeğer pek çok düşük-kayıplı bölgeden biridir. Gradyan inişinin güvenilir biçimde yeterince iyi bir bölgeye inmesi, derin öğrenmenin deneysel…
▶ Rⁿ'de Kritik Noktalar
← Hesaplama GraflarıDışbükeylik →