Çok Değişkenli Taylor

Multivariate calculus from first principles

Doğrusal yaklaşım (Ders 9) yalnızca gradyanı kullanıyor ve düz bir teğet düzlem veriyordu. Bir sonraki terimi, yani Hessian'dan kurulanı eklersen, bir karesel yaklaşım elde edersin: yüzeyi saran, yalnızca eğimini değil eğriliğini de yakalayan bir paraboloid.

Üç parçayı oku: f(x) yüksekliktir, ∇fᵀδ doğrusal (eğim) düzeltmesidir ve ½δᵀHδ karesel (eğrilik) düzeltmesidir. Bu son terim, adımda bir karesel formdur — tam olarak işaretini Hessian'ın özdeğerlerinin denetlediği nesne.

Kavisli bir yüzey üzerinde duran düz bir teğet düzlemi, gözünüzün üzerine sert bir cam lam yerleştirmek gibidir: bir noktada temas eder, ancak geri kalan her yerde boşluk kalır. Bir kontakt lens daha iyidir çünkü gözün yüzeyine uyacak şekilde kavislidir ve yalnızca gözün nerede olduğuyla değil, nasıl büküldüğüyle de eşleşir. Hessian terimi ½δᵀHδ, işte o yerleşik eğriliktir: yaklaşımın sadece üzerine oturmak yerine yüzeyi kucaklamasını sağlar.

Bunun ML'deki yeriHer seferinde küçük bir gradyan adımıyla yokuş aşağı yürümek yerine, kayba bir paraboloid uydurup doğrudan dibine atlayabilirsin. Bu, Newton yöntemidir: yerel kareseli tam olarak en aza indirir, δ = −H⁻¹∇f adımını atar ve eğrilik çok değiştiğinde sade gradyan inişinden çok daha hızlı yakınsar. Adam ve benzerleri aynı eğrilik düzeltmesini ucuza, parametre başına, koca tam Hessian'ı hiç…
▶ Çok Değişkenli Taylor
← Kısıtlı Optimizasyonİki Katlı İntegraller →