Kettingregel: matrixvorm

Meervariabelecalculus vanuit eerste principes

De som-over-paden-formule is eigenlijk matrixvermenigvuldiging term voor term uitgeschreven. Wanneer functies vectorwaardig zijn, valt de kettingregel ineen tot een net product van Jacobianen, en dit is de vorm die echte autograd-systemen aandrijft.

Voor een compositie f ∘ g is de Jacobiaan van het geheel de Jacobiaan van de buitenste afbeelding (geëvalueerd in de binnenste uitvoer) maal de Jacobiaan van de binnenste afbeelding:

De vormcontrole is wat het laat kloppen. Als g: Rⁿ → Rᵏ en f: Rᵏ → Rᵐ, dan is J_g k×n, is J_f m×k, en hun product is m×n, precies de vorm die de algehele afbeelding Rⁿ → Rᵐ vereist. De inwendige dimensie k valt weg, net als bij gewone matrixvermenigvuldiging.

Waar dit voorkomt in MLDit product is waarom diepe netwerken last hebben van verdwijnende en exploderende gradiënten. Vermenigvuldig veel Jacobianen waarvan de singuliere waarden onder 1 liggen en het product krimpt naar bijna niets; laat ze boven 1 liggen en het ontploft. Residuele verbindingen, zorgvuldige initialisatie en normalisatie bestaan allemaal om dit Jacobiaan-product op een gezonde schaal te houden, zodat…
▶ Kettingregel: matrixvorm
← Kettingregel: scalaire compositieBerekeningsgrafen →