Aturan Rantai

Kalkulus satu variabel dari prinsip pertama

Aturan rantai adalah aturan yang menjadi dasar backpropagation. Aturan ini memberi tahu cara menurunkan sebuah komposisi: fungsi di dalam fungsi lain, seperti f(g(x)).

Untuk menurunkan "fungsi luar dari fungsi dalam," ambil turunan fungsi luar (biarkan bagian dalam tetap), lalu kalikan dengan turunan fungsi dalam. Laju perubahan dikalikan sepanjang rantai.

Pikirkan ini sebagai pipeline: x → g → f. Dorongan kecil pada x diperbesar oleh g′, lalu dorongan itu diperbesar lagi oleh f′. Penguatan totalnya adalah produk keduanya. Gambar menelusuri turunan yang saling dikalikan sepanjang komposisi.

Di mana ini berlaku dalam MLBackpropagation adalah aturan rantai yang dijalankan mundur melalui jaringan. Deep net adalah satu komposisi raksasa (lapisan demi lapisan), dan gradien loss terhadap bobot awal adalah produk dari turunan lokal, satu per lapisan, dikalikan sepanjang jalur. Inilah mengapa "vanishing gradients" terjadi: kalikan banyak turunan kecil dan produknya menyusut menjadi hampir nol. Aturan rantai bukan…
▶ Aturan Rantai
← Aturan Produk & Hasil BagiDiferensiasi Implisit →