Regole del Prodotto e del Quoziente

Calcolo a una variabile dai primi principi

Quando due funzioni sono moltiplicate insieme, non puoi semplicemente moltiplicare le loro derivate. È una scorciatoia tentatrice, e sbagliata. La regola corretta tiene conto del fatto che entrambi i fattori cambiano contemporaneamente.

Immagina un rettangolo la cui larghezza è f e la cui altezza è g; la sua area è f·g. Se entrambi i lati crescono un poco, l'area aumenta su due fronti: una striscia dovuta alla maggiore larghezza, più una striscia dovuta alla maggiore altezza. Ecco perché il risultato ha due termini, non uno.

Immagina un giardino rettangolare la cui larghezza e altezza vengono entrambe estese contemporaneamente. La nuova area non è solo una singola striscia, si ottiene una striscia lungo la larghezza più lunga e una striscia lungo l'altezza maggiore. Ecco perché la regola del prodotto ha due termini: quando due quantità variabili si moltiplicano, la crescita di ciascuna di esse contribuisce con la propria porzione al totale.

Dove si trova nel MLQueste regole sono i mattoni che autograd compone. Un punteggio normalizzato, come una probabilità softmax o un peso di attention, è un quoziente (qualcosa diviso per una somma), e derivarlo usa la regola del quoziente dietro le quinte. Il fattore di scala della batch-norm, la divisione della layer-norm per una deviazione standard: ogni volta che una rete divide una quantità appresa per un'altra,…
▶ Regole del Prodotto e del Quoziente
← Regole Base delle DerivateRegola della Catena →