La Jacobiana

Calcolo multivariabile dai primi principi

Quando l'output è un vettore anch'esso, una funzione f: Rⁿ → Rᵐ, un gradiente non basta. Serve la parziale di ogni output rispetto a ogni input. Impilale tutte in una matrice e ottieni la Jacobiana J, la piena derivata prima di una mappa a valori vettoriali.

La riga i di J è semplicemente il gradiente dell'i-esimo output. Quindi la Jacobiana è una pila di gradienti, uno per coordinata di output. La sua forma è m × n: tante righe quanti output, tante colonne quanti input.

Pensa al mixer di un ingegnere del suono, dove ogni canale di uscita risponde a ogni manopola di ingresso. Lo Jacobiano è quella tabella di sensibilità messa per iscritto: ogni voce dice di quanto si sposta un'uscita quando tocchi una manopola di ingresso. Leggi lungo una riga per vedere tutto ciò che guida una singola uscita; leggi lungo una colonna per vedere tutto ciò che controlla una singola manopola.

Dove si trova nel MLLa Jacobiana di uno strato dice come una piccola perturbazione del suo input cambia il suo output, ovvero lo stiramento e la compressione locali operati da quello strato. La backpropagation è solo moltiplicare queste Jacobiane per strato insieme (prossimo modulo). Quando le persone si preoccupano di gradienti che svaniscono o esplodono, si preoccupano di quel prodotto di Jacobiane di strato che…
▶ La Jacobiana
← Approssimazione LineareGeometria della Jacobiana →