Regola della Catena

Calcolo a una variabile dai primi principi

La regola della catena è la regola su cui è costruita la backpropagation. Ti dice come derivare una composizione: una funzione dentro un'altra, come f(g(x)).

Per derivare "esterna di interna", prendi la derivata esterna (lasciando la interna così com'è), poi moltiplica per la derivata interna. I tassi di variazione si moltiplicano lungo la catena.

Pensala come una catena di montaggio: x → g → f. Una piccola variazione di x viene amplificata da g′, poi quella stessa variazione viene amplificata di nuovo da f′. L'amplificazione complessiva è il prodotto delle due. La figura mostra le derivate che si moltiplicano lungo la composizione.

Dove si trova nel MLLa backpropagation è la regola della catena, percorsa all'indietro attraverso una rete. Una rete profonda è un'enorme composizione (strato dopo strato dopo strato), e il gradiente della loss rispetto a un peso dei primi strati è un prodotto di derivate locali, una per ogni strato, moltiplicate lungo il percorso. Ecco perché si verificano i "gradienti che svaniscono": se moltiplichi molte derivate…
▶ Regola della Catena
← Regole del Prodotto e del QuozienteDerivazione Implicita →