Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Krajobraz straty to kształt L(θ) nad przestrzenią parametrów. Dla sieci neuronowych jest on wysokowymiarowy i niewypukły: ma szerokie, płaskie odcinki, ostro zakrzywione fragmenty, punkty siodłowe, które w niektórych kierunkach się wznoszą, a w innych opadają, oraz wiele osobnych obszarów niskiej straty, które często okazują się połączone.
Nie da się bezpośrednio zwizualizować prawdziwego krajobrazu, ale można rozumować o geometrii lokalnej: gradiencie, krzywiźnie, szumie i tym, jak różne optymalizatory poruszają się przez te elementy.
Pole wydm po silnym wietrze ma szerokie, płaskie płaty, ostre grzbiety oraz ścieżki, które z jednej strony wyglądają na poziome, a z drugiej okazują się pochyłe. Krajobraz straty ma ten sam problem: lokalny kształt zależy od kierunku. Ten najważniejszy kształt możesz zbudować na rysunku poniżej: przesuwaj dwie krzywizny, aż jedna będzie dodatnia, a druga ujemna. To właśnie siodło, poziome wzdłuż jednej prostej, a pochyłe wzdłuż drugiej, i to ten rodzaj punktu stacjonarnego dominuje w krajobrazach wysokowymiarowych.