Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Regularisierung wird oft als ein zum Verlust hinzugefügter Strafterm eingeführt. Geometrisch verändert sie, welche Parametervektoren als billig oder teuer gelten. Das verändert die Form des Optimierungsproblems. Zwei Symbole tauchen unten immer wieder auf: R(θ) bezeichnet den Strafterm, und λ (Lambda) legt fest, wie stark er zählt.
Die beiden gebräuchlichsten Strafterme verhalten sich unterschiedlich: L2 bremst große Gewichte gleichmäßig, während L1 Ecken hat, die manche Gewichte auf exakt null drücken können.
Einen Koffer mit strikter Gewichtsgrenze zu packen hat dieselbe Form. Jeder Gegenstand mag helfen, aber schwere Gegenstände verbrauchen das Budget schnell. Regularisierung lässt große Parameterwerte Budget verbrauchen, sodass das Modell sie nur behält, wenn sie genug bringen. Das Bild zeigt, warum sich das Budget lohnt: Mit wachsender Modellflexibilität sinkt der Trainingsfehler immer weiter, während der Validierungsfehler irgendwann wieder ansteigt. Regularisierung ist der Regler, der die Flexibilität zügelt, bevor dieser Wiederanstieg eintritt.