Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Die Verlustlandschaft ist die Form von L(θ) über dem Parameterraum. Bei neuronalen Netzen ist sie hochdimensional und nicht-konvex: Sie hat weite flache Abschnitte, scharf gekrümmte Stellen, Sattelpunkte, die in manchen Richtungen ansteigen und in anderen abfallen, und viele einzelne Regionen mit geringem Verlust, die sich oft als miteinander verbunden herausstellen.
Du kannst die echte Landschaft nicht direkt visualisieren, aber du kannst über lokale Geometrie nachdenken: Gradient, Krümmung, Rauschen und wie sich verschiedene Optimierer durch sie hindurch bewegen.
Ein Dünenfeld nach starkem Wind hat weite flache Flächen, scharfe Kämme und Pfade, die aus einer Richtung eben wirken, aus einer anderen aber abschüssig sind. Eine Verlustlandschaft hat dasselbe Problem: Die lokale Form hängt von der Richtung ab. Du kannst diese wichtigste Form im Bild unten selbst bauen: Verschiebe die beiden Krümmungen, bis eine positiv und die andere negativ ist. Das ist ein Sattel, eben entlang einer Linie und abschüssig entlang einer anderen, und genau diese Art von stationärem Punkt dominiert hochdimensionale Landschaften.