La Derivata

Calcolo a una variabile dai primi principi

La derivata risponde a una domanda: quanto velocemente cambia una funzione in un singolo istante? Geometricamente, è la pendenza della curva proprio in un punto, la pendenza della retta tangente che bacia la curva lì.

Pensa al tachimetro di un'auto in movimento. La tua velocità media in un'ora è la distanza totale divisa per il tempo totale, ma la lancetta mostra qualcosa di più preciso: esattamente quanto velocemente stai andando in questo preciso istante. La derivata è quella lancetta, il tasso di variazione congelato in un singolo istante anziché spalmato su un intervallo.

Ma ecco il rompicapo. La pendenza ha bisogno di due punti: salita su spostamento. Un singolo punto non ti dà un punto da cui misurare. Come può un punto solo avere una pendenza? Il trucco è avvicinarsi furtivamente.

Dove si trova nel MLIl gradiente che addestra ogni rete neurale è esattamente questa derivata, applicata alla loss. La quantità ∂L/∂w è la pendenza della loss quando sposti un peso w: il suo segno ti dice quale direzione riduce la loss, e la sua magnitudine ti dice quanto è sensibile la loss a quel peso. L'addestramento è: valuta questo limite (un motore autograd lo fa per te, esattamente — nessun h da restringere),…
▶ La Derivata
← ContinuitàDifferenziabilità →