Approssimazione Lineare

Calcolo multivariabile dai primi principi

Da vicino, ogni superficie liscia appare piatta, come la Terra sembra piatta sotto i tuoi piedi. L'approssimazione lineare sostituisce la funzione curva vicino a un punto con il piano tangente piatto che la tocca lì. Il gradiente fornisce l'inclinazione di quel piano.

Leggila a parole: il nuovo valore ≈ il vecchio valore, più il gradiente moltiplicato scalarmente per il passo fatto. Quel prodotto scalare è la derivata direzionale per la lunghezza del passo, la migliore stima lineare di quanto f si è mossa.

Premi un piccolo adesivo piatto su un pallone da spiaggia e, proprio dove si trova, il pallone curvo sembra perfettamente piatto. L'approssimazione lineare è quell'adesivo: un piano tangente piatto che bacia la superficie in un punto e sostituisce la curva nelle vicinanze. Se ti allontani troppo lungo il pallone, l'adesivo si stacca dalla superficie — la previsione va alla deriva.

Dove si trova nel MLUn passo di discesa del gradiente è un'approssimazione lineare in azione. Aggiornare w ← w − η∇L assume che il cambiamento di loss sia ben predetto dal termine lineare ∇L·δ. Quando il passo è troppo grande, la curvatura che hai ignorato (il termine ‖δ‖²) si fa sentire e la loss può oltrepassare il minimo o divergere. Il learning rate η ti tiene nella regione dove trattare la superficie come…
▶ Approssimazione Lineare
← Derivata DirezionaleLa Jacobiana →