Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Adam e AdamW differiscono nel modo in cui gestiscono il weight decay. Adam mescola una penalità L2 dentro l'aggiornamento adattivo del gradiente. AdamW applica il weight decay come un passo di riduzione separato.
Quella separazione conta perché Adam riscala i gradienti parametro per parametro. Se il weight decay viene mescolato in quei gradienti, anche la regolarizzazione viene riscalata in modo dipendente dal parametro.
Pensa a una biblioteca che vuole i libri restituiti in tempo. Una multa fissa per ogni giorno di ritardo è facile da capire: si applica allo stesso modo a ogni utente. Nascondere la multa dentro la formula personalizzata dell'abbonamento di ciascun utente rende la penalità irregolare e imprevedibile. AdamW è la multa fissa e separata; Adam con L2 accoppiata infila prima la penalità nel proprio meccanismo per parametro. E perché penalizzare, poi? La figura ha la risposta: una flessibilità crescente continua ad abbassare l'errore di addestramento mentre l'errore di validazione a un certo punto risale. Il weight decay è uno degli strumenti principali per restare vicino al punto di equilibrio.