Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Un laboratorio degli ottimizzatori confronta gli ottimizzatori in condizioni controllate. Esegui lo stesso modello, gli stessi dati, la stessa batch size, lo stesso budget di schedule e lo stesso piano di seed, poi cambia l'ottimizzatore o una sua singola impostazione.
Senza quel controllo, i confronti tra ottimizzatori diventano storielle. Un'esecuzione più veloce potrebbe aver usato un learning rate migliore, uno schedule diverso, oppure un seed più fortunato.
Una giornata di prove in pista automobilistica ha regole per questo. Se confronti due auto, mantieni pista, gomme, carico di carburante e meteo il più controllati possibile. Altrimenti non puoi dire se l'auto era più veloce o se le condizioni erano più favorevoli. La figura sotto è un banco da laboratorio in miniatura: la stessa superficie allungata a ogni esecuzione, con η, β e κ come tue variabili. Cambiane esattamente una, esegui, poi confronta i percorsi. Questa è tutta la disciplina di questa lezione racchiusa in un widget.