Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Het verlieslandschap is de vorm van L(θ) over de parameterruimte. Voor neurale netwerken is dat hoogdimensionaal en niet-convex: het heeft brede vlakke stukken, scherp gekromde stukken, zadelpunten die in sommige richtingen stijgen terwijl ze in andere dalen, en veel afzonderlijke gebieden met laag verlies die vaak toch verbonden blijken te zijn.
Je kunt het echte landschap niet rechtstreeks visualiseren, maar je kunt wel redeneren over de lokale meetkunde: gradiënt, kromming, ruis, en hoe verschillende optimizers zich erdoorheen bewegen.
Een duinenveld na harde wind heeft brede vlakke plekken, scherpe ruggen, en paden die vanuit de ene richting vlak lijken maar vanuit een andere richting hellen. Een verlieslandschap heeft hetzelfde probleem: de lokale vorm hangt af van de richting. Je kunt de belangrijkste zo'n vorm bouwen in de figuur hieronder: schuif aan de twee krommingen totdat de ene positief is en de andere negatief. Dat is een zadel, vlak langs de ene lijn en hellend langs een andere, en het is het soort stationair punt dat hoogdimensionale landschappen domineert.