Zincir Kuralı: Skaler Bileşke

Multivariate calculus from first principles

Geri yayılımı matematiğine kadar soy, bu modülü bulursun. Çok değişkenli zincir kuralı, sana bir fonksiyonlar bileşkesinin nasıl türevleneceğini söyler ki bir otomatik türev motorunun gerçekte yaptığı tek şey budur. Skaler sürümle başlıyoruz: bir girdideki bir değişikliğin ara değişkenler üzerinden çıktıya nasıl yayıldığı.

Diyelim ki z, sırayla x girdilerine bağlı olan y₁, y₂, … ara değişkenlerine bağlı. z'nin bir girdiyle nasıl değiştiğini bulmak için, o girdiden çıktıya giden her yol üzerinden topla ve her yol boyunca türevleri çarp:

Her (∂z/∂yₖ)(∂yₖ/∂xᵢ) terimi bir rotanın katkısıdır; bütün rotaları toplarsın. Yalnızca bir yol varsa, tanıdık 1 boyutlu zincir kuralına indirgenir.

Bunun ML'deki yeriBu yollar-üzerinden-toplam, tam olarak bir ağın bir düğümü üzerinden geri geçiştir. Her ara değişken yₖ bir nöronun aktivasyonudur; ∂z/∂yₖ ona geri akan gradyandır; ∂yₖ/∂xᵢ o işlemin yerel türevidir. Çarp ve topla, gradyanı bir adım geri yaymış olursun. Bu adımı tüm graf boyunca tekrarla, modeli eğitmiş olursun.
▶ Zincir Kuralı: Skaler Bileşke
← Hessian GeometrisiZincir Kuralı: Matris Biçimi →