Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Un learning rate fisso è raramente la scelta migliore per un'intera sessione di addestramento. All'inizio l'addestramento può reggere spostamenti più ampi perché i parametri sono lontani da impostazioni utili. Più avanti l'addestramento ha spesso bisogno di spostamenti più piccoli per assestarsi.
Uno schedule cambia η nel tempo. Il warmup parte con un learning rate piccolo e lo aumenta gradualmente prima che inizi lo schedule principale.
Quando lanci un aquilone, non tiri subito la corda a tensione massima. Lo lasci salire, senti il vento, poi regoli il filo mentre si stabilizza. Il warmup è il lancio delicato. Lo schedule successivo è il modo in cui gestisci il filo dopo che l'aquilone vola.