Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
La regolarizzazione viene spesso introdotta come una penalità aggiunta alla loss. Geometricamente, cambia quali vettori di parametri sono considerati economici o costosi. Questo cambia la forma del problema di ottimizzazione. Due simboli ricorrono qui sotto: R(θ) indica il termine di penalità, e λ (lambda) stabilisce con quale forza conta.
Le due penalità più comuni si comportano in modo diverso: la L2 scoraggia i pesi grandi in modo regolare, mentre la L1 ha spigoli che possono spingere alcuni pesi esattamente a zero.
Fare la valigia con un rigido limite di peso ha la stessa struttura. Ogni oggetto può essere utile, ma gli oggetti pesanti consumano il budget rapidamente. La regolarizzazione fa sì che le scelte di parametri grandi consumino budget, così il modello le mantiene solo quando aiutano abbastanza. La figura mostra perché vale la pena avere un budget: man mano che la flessibilità del modello cresce, l'errore di addestramento continua a scendere mentre l'errore di validazione alla fine torna a salire. La regolarizzazione è la manopola che tiene a freno la flessibilità prima che arrivi quella risalita.