Derivate Parziali di Ordine Superiore

Calcolo multivariabile dai primi principi

Come una funzione 1-D ha una derivata seconda, una funzione multivariabile ha derivate parziali seconde. Derivi due volte. La nuova sfaccettatura è che ora puoi scegliere rispetto a quale variabile derivare ogni volta, e qualcosa di pulito succede quando le mescoli.

Le derivate parziali pure ∂²f/∂x² e ∂²f/∂y² misurano la curvatura lungo ciascun asse. La derivata parziale mista ∂²f/∂x∂y deriva prima rispetto a y, poi rispetto a x; misura come la pendenza in una direzione cambia mentre ti muovi nell'altra.

Una prima derivata parziale ti dice la ripidità della collina; una seconda parziale ti dice come quella stessa ripidità sta cambiando mentre ti muovi, ovvero la curvatura della pendenza. Camminando verso est, il terreno continua a diventare più ripido o inizia a spianarsi? Quella curvatura della pendenza verso est ∂f/∂x mentre avanzi ulteriormente verso est è la seconda derivata parziale ∂²f/∂x², la curvatura della collina lungo quella direzione.

Dove si trova nel MLQuesta simmetria è il motivo per cui la Hessiana, la matrice di tutte le derivate parziali seconde della loss, risulta simmetrica: Hᵢⱼ = ∂²L/∂wᵢ∂wⱼ = ∂²L/∂wⱼ∂wᵢ = Hⱼᵢ. Una matrice simmetrica ha autovalori reali e autovettori ortogonali (dall'Algebra Lineare), che è ciò che ci permette di leggere la curvatura della superficie di loss pulitamente come una ciotola, una cupola o una sella.
▶ Derivate Parziali di Ordine Superiore
← Derivate ParzialiIl Gradiente →