Clipping del Gradiente

Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam

Il gradient clipping limita quanto può diventare grande un aggiornamento. Se un batch produce un gradiente enorme, il clipping lo riduce di scala prima del passo dell'ottimizzatore.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Clipping del Gradiente
← Diagnostica dell'OttimizzatoreAdam vs AdamW →