Meervariabelecalculus vanuit eerste principes
Strip backpropagation tot zijn wiskunde en je vindt deze module. De multivariate kettingregel vertelt je hoe je een compositie van functies differentieert, wat het enige is dat een autograd-engine echt doet. We beginnen met de scalaire versie: hoe een verandering in één invoer doorwerkt via tussenvariabelen naar de uitvoer.
Stel dat z afhangt van tussenvariabelen y₁, y₂, …, die op hun beurt afhangen van invoeren x. Om te vinden hoe z verandert met één invoer, sommeer je over elk pad van die invoer naar de uitvoer, waarbij je de afgeleiden langs elk pad vermenigvuldigt:
Elke term (∂z/∂yₖ)(∂yₖ/∂xᵢ) is de bijdrage van één route; je telt alle routes op. Als er maar één pad is, valt het terug op de bekende 1-D-kettingregel.