De Jacobiaan

Meervariabelecalculus vanuit eerste principes

Wanneer de uitvoer ook een vector is, een functie f: Rⁿ → Rᵐ, is één gradiënt niet genoeg. Je hebt de partiële afgeleide van elke uitvoer naar elke invoer nodig. Stapel ze allemaal in een matrix en je krijgt de Jacobiaan J, de volledige eerste afgeleide van een vectorwaardige afbeelding.

Rij i van J is gewoon de gradiënt van de i-de uitvoer. Dus de Jacobiaan is een stapel gradiënten, één per uitvoercoördinaat. De vorm is m × n: zoveel rijen als uitvoeren, zoveel kolommen als invoeren.

Denk aan het mengpaneel van een geluidstechnicus, waar elk uitvoerkanaal reageert op elke invoerknop. De Jacobiaan is die gevoeligheidstabel uitgeschreven: elke ingang zegt hoeveel één uitvoer beweegt wanneer je één invoerknop een tikje geeft. Lees over een rij om alles te zien wat een enkele uitvoer aandrijft; lees langs een kolom naar beneden om alles te zien wat één knop bedient.

Waar dit voorkomt in MLDe Jacobiaan van een laag zegt hoe een kleine verstoring van haar invoer haar uitvoer verandert, het lokale uitrekken en samendrukken van die laag. Backpropagation is gewoon het vermenigvuldigen van deze Jacobianen per laag (volgende module). Wanneer mensen zich zorgen maken over verdwijnende of exploderende gradiënten, maken ze zich zorgen over dat product van laag-Jacobianen dat naar niets…
▶ De Jacobiaan
← Lineaire benaderingJacobiaan-meetkunde →