Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Il gradient clipping limita quanto può diventare grande un aggiornamento. Se un batch produce un gradiente enorme, il clipping lo riduce di scala prima del passo dell'ottimizzatore.
Il clipping non aggiusta né l'obiettivo né i dati. Pensalo come una regola di sicurezza: un batch estremo non deve poter scagliare i parametri da un capo all'altro della superficie di loss.
Il limitatore di velocità di un ascensore è l'analogia giusta. L'ascensore si muove normalmente, ma se comincia ad andare troppo veloce, il limitatore ne frena la velocità prima che il movimento diventi pericoloso. Il gradient clipping lascia passare i gradienti normali e limita i picchi pericolosi. La figura sotto mostra l'oggetto mentre viene tagliato: trascina il punto sulla ciotola e guarda la freccia del gradiente allungarsi man mano che la superficie s'inclina di più. Il clipping tronca la lunghezza di quella freccia a c mantenendone la direzione.