Taylor Multivariabile

Calcolo multivariabile dai primi principi

L'approssimazione lineare (Lezione 9) usava solo il gradiente e dava un piano tangente piatto. Aggiungi il termine successivo, quello costruito dalla Hessiana, e ottieni un'approssimazione quadratica: un paraboloide che aderisce alla superficie, catturando la sua curvatura, non solo la sua inclinazione.

Leggi i tre pezzi: f(x) è l'altezza, ∇fᵀδ è la correzione lineare (pendenza), e ½δᵀHδ è la correzione quadratica (curvatura). Quell'ultimo termine è una forma quadratica nel passo, esattamente l'oggetto il cui segno è controllato dagli autovalori della Hessiana.

Un piano tangente piatto appoggiato su una superficie curva è come posizionare un vetrino rigido sul tuo occhio: tocca in un punto ma lascia spazi vuoti dappertutto. Una lente a contatto fa un lavoro migliore perché è curva per abbinarsi alla superficie dell'occhio, corrispondendo non solo a dove si trova l'occhio ma anche a come si piega. Il termine dell'Hessiana ½δᵀHδ è quella curvatura incorporata: permette all'approssimazione di abbracciare la superficie invece di limitarsi ad appoggiarvisi.

Dove si trova nel MLInvece di avanzare in discesa un piccolo passo di gradiente alla volta, potresti adattare un paraboloide alla loss e saltare dritto al suo fondo. Questo è il metodo di Newton: minimizza il quadratico locale esattamente, facendo un passo δ = −H⁻¹∇f, e converge molto più velocemente della semplice discesa del gradiente quando la curvatura varia molto. Adam e amici inseguono la stessa correzione di…
▶ Taylor Multivariabile
← Ottimizzazione VincolataIntegrali Doppi →