Hessiaan-meetkunde

Meervariabelecalculus vanuit eerste principes

De eigenwaarden van de Hessiaan veranderen de troebele vraag 'wat voor soort kritiek punt is dit?' in een heldere checklist. In een punt waar de gradiënt nul is, vertellen de tekens van de eigenwaarden van de Hessiaan je of je in een kom zit, op een koepel, of bij een zadel.

Dit is de tweede-afgeleidetest voor meerdere variabelen, en het is een directe veralgemening van het 1-D-geval: daar betekende f″ > 0 een minimum en f″ een maximum. De eigenwaarden van de Hessiaan zijn de versies van dat ene getal voor de vele richtingen.

Stel je drie snacks voor. Een kom soep buigt omhoog, ongeacht hoe je hem kantelt, een bolletje ijs buigt overal naar beneden, en een Pringle-chipje buigt omhoog over de lengte maar naar beneden over de breedte. De eigenwaarden van de Hessiaan zijn simpelweg de krommingen langs die speciale richtingen: hetzelfde teken betekent kom of koepel, tegengestelde tekens (zoals 2 en −2) betekent het chipje, een zadel.

Waar dit voorkomt in MLIn hoge dimensies overtreffen zadelpunten lokale minima ruimschoots in aantal. Voor een willekeurig kritiek punt in n dimensies zouden alle n eigenwaarden hetzelfde teken moeten delen om een echt minimum of maximum te zijn, wat exponentieel onwaarschijnlijk is. Dus het trainen van een diep netwerk gaat vooral om het ontsnappen aan zadels, plekken waar de gradiënt klein is maar je nergens in de…
▶ Hessiaan-meetkunde
← De HessiaanKettingregel: scalaire compositie →