Uygulamalar

Single-variable calculus from first principles

Taylor'ın ML'deki gerçek getirisi lineerleştirmedir: inatçı bir doğrusal olmayan fonksiyonu, ilgilendiğin noktanın yakınında teğet doğrusu ile değiştirmek. Küçük bir aralıkta lineer yaklaşım neredeyse tamdır ve lineer şeyleri analiz etmek, hesaplamak ve onlar hakkında akıl yürütmek çok daha kolaydır.

Sigmoid σ(x) = 1/(1 + e⁻ˣ), tanıdık sıkıştırıcı doğrusal olmayanlıktır. x = 0 yakınında ½ noktasından, ¼ eğimiyle geçer; bu yüzden lineer yaklaşımı şudur:

Düz bir kağıt sokak haritası, yuvarlak Dünya'yı bir şehrin yakınında düzlemmiş gibi ele alır. Birkaç kilometre boyunca eğrilik önemli olamayacak kadar küçüktür, bu yüzden gezegen gerçekten bir küre olmasına rağmen düz kağıt gezinmek için yeterince doğrudur. Doğrusallaştırma bir fonksiyona aynı şeyi yapar: bir noktanın yakınında gerçek eğriyi f(x) ≈ f(0) + f′(0)·x teğet doğrusu ile değiştirir; bu, yerel olarak yeterince kesindir ve onunla çalışmak çok daha kolaydır.

Bunun ML'deki yeriLineerleştirme temel bir ML refleksidir. Küçük açı ve küçük girdi yaklaşımları, aktivasyonların (sigmoid, GELU, softmax) çalışma noktası yakınındaki analizini sadeleştirir. Bir ağı mevcut ağırlıkları etrafında lineerleştirmek neural tangent kernel bakışını verir ve eğitim dinamikleri hakkında akıl yürütmenin temelidir. Her birinci mertebe optimize edici de özünde, kaybın yerel lineer modeline bir…
▶ Uygulamalar
← Temel Taylor SerileriRⁿ'de Vektörler →