Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Die Verlustlandschaft ist die Form von L(θ) über dem Parameterraum. Bei neuronalen Netzen ist sie hochdimensional und nicht-konvex: Sie hat weite flache Abschnitte, scharf gekrümmte Stellen, Sattelpunkte, die in manchen Richtungen ansteigen und in anderen abfallen, und viele einzelne Regionen mit geringem Verlust, die sich oft als miteinander verbunden herausstellen.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Die Verlustlandschaft