Doğrusal Yaklaşım

Multivariate calculus from first principles

Yakından bakıldığında, her düzgün yüzey, Dünya'nın ayaklarınızın altında düz hissettirmesi gibi, düz görünür. Doğrusal yaklaşım, bir noktanın yakınında eğri fonksiyonu, ona tam o noktada dokunan düz teğet düzlem ile değiştirir. Gradyan, o düzlemin eğimini sağlar.

Kelimelerle oku: yeni değer ≈ eski değer, artı gradyanın attığın adımla nokta çarpımı. Bu nokta çarpımı, yönlü türev çarpı adım uzunluğudur; f'in ne kadar hareket ettiğine dair en iyi doğrusal tahmindir.

Bir plaj topunun üzerine küçük, düz bir etiket yapıştırın ve tam oturduğu yerde kavisli top tamamen düz görünür. Doğrusal yaklaşım bu etikettir: yüzeyi tek bir noktadan öpen ve yakındaki eğrinin yerini alan düz bir teğet düzlemi. Top boyunca çok uzağa giderseniz etiket yüzeyden soyulur — tahmin sapar.

Bunun ML'deki yeriBir gradyan inişi adımı aslında iş başındaki bir doğrusal yaklaşımdır. w ← w − η∇L güncellemesi, kayıp değişiminin ∇L·δ doğrusal terimi tarafından iyi tahmin edildiğini varsayar. Adım çok büyük olduğunda, görmezden geldiğin eğrilik (‖δ‖² terimi) geri tepip kaybın aşırı sıçramasına ya da ıraksamasına yol açabilir. Öğrenme oranı η, seni yüzeyi düz gibi ele almanın gerçeğe yeterince yakın olduğu…
▶ Doğrusal Yaklaşım
← Yönlü TürevJacobian →