Kalkulus multivariabel dari prinsip pertama
Kupas backpropagation hingga matematikanya dan Anda menemukan modul ini. Aturan rantai multivariabel memberi tahu cara membedakan komposisi fungsi, yang merupakan satu hal yang sebenarnya dilakukan mesin autograd. Kami mulai dengan versi skalar: bagaimana perubahan satu masukan merambat melalui variabel intermediate ke keluaran.
Misalkan z bergantung pada intermediate y₁, y₂, …, yang pada gilirannya bergantung pada masukan x. Untuk menemukan bagaimana z berubah dengan satu masukan, jumlahkan setiap jalur dari masukan itu ke keluaran, mengalikan turunan sepanjang setiap jalur:
Setiap suku (∂z/∂yₖ)(∂yₖ/∂xᵢ) adalah kontribusi satu rute; Anda menjumlahkan semua rute. Jika hanya satu jalur, ini runtuh ke aturan rantai 1-D yang akrab.