Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Un learning rate fisso è raramente la scelta migliore per un'intera sessione di addestramento. All'inizio l'addestramento può reggere spostamenti più ampi perché i parametri sono lontani da impostazioni utili. Più avanti l'addestramento ha spesso bisogno di spostamenti più piccoli per assestarsi.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Schedule e Warmup