Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Adam en AdamW verschillen in hoe ze gewichtsverval behandelen. Adam mengt een L2-penalty in de adaptieve gradiëntupdate. AdamW past gewichtsverval toe als een aparte krimpstap.
Die scheiding is belangrijk omdat Adam gradiënten per parameter herschaalt. Als gewichtsverval in die gradiënten wordt gemengd, wordt de regularisatie ook op een parameterafhankelijke manier herschaald.
Denk aan een bibliotheek die boeken op tijd teruggebracht wil zien. Een vaste boete per dag te laat is makkelijk te doorgronden: hij geldt op dezelfde manier voor elke lener. De boete verwerken in de persoonlijke lidmaatschapsformule van elke lener maakt de straf ongelijk en onvoorspelbaar. AdamW is de vaste, aparte boete; Adam met gekoppelde L2 vouwt de straf eerst in zijn per-parameter-machinerie. En waarom überhaupt straffen? De figuur geeft het antwoord: groeiende flexibiliteit blijft de trainingsfout verlagen terwijl de validatiefout uiteindelijk weer stijgt. Gewichtsverval is een van de belangrijkste instrumenten om dicht bij het optimale punt te blijven.