Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
La discesa del gradiente a batch completo usa ogni esempio di addestramento per calcolare ciascun aggiornamento; la discesa del gradiente stocastica va all'estremo opposto e ne usa solo uno. La discesa del gradiente mini-batch sta nel mezzo con un piccolo batch, ed è proprio questo compromesso su cui gira davvero il deep learning.
Un gradiente mini-batch è una stima rumorosa del gradiente completo. È più economico e spesso più utile del gradiente completo esatto perché offre molti aggiornamenti rapidi e il suo rumore può aiutare l'esplorazione.
I controlli di qualità sui cereali usano lo stesso compromesso. Aprire ogni scatola è accurato ma lento. Controllarne una sola è rumoroso. Controllare un vassoio di scatole dà rapidamente una stima utile. I mini-batch sono quei vassoi. La figura qui sotto rende visibile la statistica: premi Avvia e guarda una media corrente assestarsi man mano che arrivano altri campioni. Un gradiente mini-batch è lo stesso tipo di oggetto, una media che si stabilizza mentre il batch cresce.