Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Adam und AdamW unterscheiden sich darin, wie sie mit Weight Decay umgehen. Adam mischt eine L2-Strafe in das adaptive Gradienten-Update. AdamW wendet Weight Decay als separaten Schrumpfungsschritt an.
Diese Trennung ist wichtig, weil Adam Gradienten pro Parameter neu skaliert. Wird Weight Decay in diese Gradienten gemischt, wird auch die Regularisierung auf eine parameterabhängige Weise neu skaliert.
Stell dir eine Bibliothek vor, die Bücher pünktlich zurückhaben will. Eine feste Gebühr pro verspätetem Tag ist leicht nachzuvollziehen: Sie gilt für jeden Ausleiher gleich. Mischt man die Gebühr stattdessen in die persönliche Mitgliedschaftsformel jedes Ausleihers, wird die Strafe ungleichmäßig und schwer vorhersehbar. AdamW ist die feste, separate Gebühr; Adam mit gekoppeltem L2 mischt die Strafe zuerst in seine parameterweise Maschinerie. Und warum überhaupt bestrafen? Die Abbildung liefert die Antwort: Wachsende Flexibilität senkt den Trainingsfehler immer weiter, während der Validierungsfehler irgendwann wieder ansteigt. Weight Decay ist eines der wichtigsten Werkzeuge, um nahe am Sweet Spot zu bleiben.