Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
La batch size, scritta B, cambia il rumore nelle stime del gradiente. Una batch piccola dà una stima rumorosa ma economica. Una batch grande dà una stima più stabile, ma ogni aggiornamento costa di più.
Quando la batch size cambia, spesso cambia anche il learning rate migliore. Le batch grandi a volte possono usare learning rate più alti, ma di solito hanno bisogno di warmup e di una validazione attenta.
Un sondaggio all'uscita dai seggi funziona allo stesso modo. Chiedere a cinque elettori dà una stima rumorosa. Chiederlo a cinquemila dà una stima più stabile, ma richiede più lavoro. La batch size è la dimensione del sondaggio per il gradiente. Quell'effetto di stabilizzazione è esattamente ciò che dimostra la figura: premi Esegui e guarda la media mobile dei lanci di moneta assestarsi man mano che n cresce. Sostituisci le monete con i gradienti dei singoli esempi e n con B, e hai tutta la storia della batch size.