Multivariate Taylor

Meervariabelecalculus vanuit eerste principes

De lineaire benadering (Les 9) gebruikte alleen de gradiënt en gaf een vlak raakvlak. Voeg de volgende term toe, die opgebouwd is uit de Hessiaan, en je krijgt een kwadratische benadering: een paraboloïde die het oppervlak omhelst, en de kromming ervan vastlegt, niet alleen de helling.

Lees de drie stukken: f(x) is de hoogte, ∇fᵀδ is de lineaire (hellings)correctie, en ½δᵀHδ is de kwadratische (krommings)correctie. Die laatste term is een kwadratische vorm in de stap, precies het object waarvan het teken bepaald wordt door de eigenwaarden van de Hessiaan.

Een vlak raakvlak dat rust op een gebogen oppervlak is als het plaatsen van een stijf glazen plaatje op je oog: het raakt op één plek maar kiert overal elders. Een contactlens doet het beter omdat deze is gekromd om overeen te komen met het oppervlak van het oog, waarbij niet alleen overeenkomt waar het oog is, maar ook hoe het buigt. De Hessiaanse term ½δᵀHδ is die ingebouwde kromming: het laat de benadering het oppervlak omhelzen in plaats van er slechts op te rusten.

Waar dit voorkomt in MLIn plaats van stap voor stap met kleine gradiëntstapjes bergaf te schuifelen, zou je een paraboloïde op het verlies kunnen passen en rechtstreeks naar de bodem ervan springen. Dat is Newtons methode: het minimaliseert de lokale kwadratische functie exact, met de stap δ = −H⁻¹∇f, en convergeert veel sneller dan gewone gradiëntafdaling wanneer de kromming sterk varieert. Adam en verwanten najagen…
▶ Multivariate Taylor
← Optimalisatie met RandvoorwaardenDubbelintegralen →