Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Eerste-orde-methoden gebruiken gradiënten. Tweede-orde-methoden gebruiken ook kromming, meestal via de Hessiaan. Kromming vertelt de optimizer hoe de gradiënt zelf verandert terwijl de parameters bewegen.
Newtons methode gebruikt die kromming om een stap te kiezen die rechtstreeks naar het minimum van een kwadratische functie kan springen. De prijs is dat Hessianen enorm zijn in moderne neurale netwerken.
Een kraanmachinist gebruikt een lastdiagram omdat richting alleen niet genoeg is. De last buigt ook de giek, en die buiging verandert welke beweging veilig is. Tweede-orde-optimalisatie leest de buiging, niet alleen de trekkracht, voordat ze beslist hoe ver ze beweegt. In de figuur speel jij de machinist: schuif aan de twee krommingen en kijk hoe het oppervlak een kom, een koepel, of een zadel wordt. De eigenwaarden van de Hessiaan zijn precies die twee knoppen.