Çarpım ve Bölüm Kuralları

Single-variable calculus from first principles

İki fonksiyon birlikte çarpıldığında, yalnızca türevlerini çarpamazsın. Bu cazip bir kestirmedir ve yanlıştır. Doğru kural, iki çarpanın da aynı anda değiştiğini hesaba katar.

Genişliği f, yüksekliği g olan bir dikdörtgen düşün; alanı f·g olur. İki kenar da biraz büyürse alan iki cepheden büyür: genişleyen genişlikten bir şerit ve uzayan yükseklikten bir şerit. Cevabın tek değil iki terimli olmasının nedeni budur.

Genişliği ve yüksekliği her ikisi birden aynı anda uzatılan dikdörtgen bir bahçe hayal edin. Yeni alan sadece tek bir şerit değildir, daha uzun genişlik boyunca bir şerit ve daha uzun yükseklik boyunca bir şerit kazanırsınız. İşte bu yüzden çarpım kuralının iki terimi vardır: değişen iki nicelik çarpıldığında, her birinin büyümesi toplama kendi dilimiyle katkıda bulunur.

Bunun ML'deki yeriBu kurallar autograd'ın birleştirdiği yapı taşlarıdır. Softmax olasılığı veya attention ağırlığı gibi normalize edilmiş bir skor bir bölümdür (bir şey bölü bir toplam) ve türevini almak kaputun altında bölüm kuralını kullanır. Batch-norm'un ölçeklemesi, layer-norm'un standart sapmaya bölmesi: bir ağ nerede öğrenilmiş bir niceliği başka birine bölüyorsa, gradyan motorunun uyguladığı şey bölüm…
▶ Çarpım ve Bölüm Kuralları
← Temel Türev KurallarıZincir Kuralı →