Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Un learning-rate finder è una breve esecuzione diagnostica. Si parte con un learning rate minuscolo, lo si aumenta lungo molti mini-batch, e si osserva come reagisce la loss.
Qui non stai cercando di completare l'addestramento; stai cercando l'intervallo in cui il modello comincia a imparare prima che la loss diventi instabile.
Il bracketing dell'esposizione fotografica usa la stessa idea. Scatti una sequenza di foto da troppo scure a troppo chiare, poi scegli l'intervallo dove i dettagli sono nitidi. Il finder fa lo stesso con i passi di addestramento, facendo scorrere η da timido a spericolato e segnando dove l'apprendimento diventa nitido. Puoi recitare a mano un finder manuale nella figura sotto: esegui con un η piccolo, alzalo un po', esegui di nuovo. Da qualche parte la discesa fluida si trasforma in un rimbalzo con overshoot, ed è proprio quel bordo di esplosione che lo sweep cerca.