Hogere-orde partiële afgeleiden

Meervariabelecalculus vanuit eerste principes

Net zoals een 1-D functie een tweede afgeleide heeft, heeft een meerdimensionale functie tweede-orde partiële afgeleiden. Je differentieert twee keer. De nieuwe wending is dat je nu mag kiezen naar welke variabele je elke keer differentieert, en er gebeurt iets netjes wanneer je ze mengt.

De zuivere tweede partiële afgeleiden ∂²f/∂x² en ∂²f/∂y² meten de kromming langs elke as. De gemengde partiële afgeleide ∂²f/∂x∂y differentieert eerst naar y, dan naar x; ze meet hoe de helling in de ene richting verandert terwijl je in de andere beweegt.

Een eerste partiële afgeleide vertelt je de steilheid van de heuvel; een tweede partiële afgeleide vertelt je hoe die steilheid zelf verandert terwijl je beweegt, wat de kromming van de helling is. Als je naar het oosten loopt, blijft de grond dan steiler worden of begint hij vlakker te worden? Dat buigen van de helling naar het oosten ∂f/∂x naarmate je verder naar het oosten doorzet, is de tweede partiële afgeleide ∂²f/∂x², de kromming van de heuvel in die richting.

Waar dit voorkomt in MLDeze symmetrie is de reden dat de Hessiaan, de matrix van alle tweede partiële afgeleiden van de verliesfunctie, symmetrisch uitkomt: Hᵢⱼ = ∂²L/∂wᵢ∂wⱼ = ∂²L/∂wⱼ∂wᵢ = Hⱼᵢ. Een symmetrische matrix heeft reële eigenwaarden en orthogonale eigenvectoren (uit de lineaire algebra), en dat is wat ons in staat stelt de kromming van het verliesoppervlak helder af te lezen als een kom, een koepel of een…
▶ Hogere-orde partiële afgeleiden
← Partiële afgeleidenDe gradiënt →