Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
La taille de batch, notée B, change le bruit dans les estimations du gradient. Un petit batch donne une estimation bruitée mais peu coûteuse. Un grand batch donne une estimation plus stable, mais chaque mise à jour coûte plus cher.
Quand la taille de batch change, le meilleur taux d'apprentissage change souvent aussi. Les grands batches peuvent parfois utiliser des taux d'apprentissage plus élevés, mais ils ont généralement besoin de warmup et d'une validation soigneuse.
Un sondage à la sortie des urnes fonctionne de la même façon. Interroger cinq électeurs donne une estimation bruitée. Interroger cinq mille électeurs donne une estimation plus stable, mais demande plus de travail. La taille de batch est la taille du sondage pour le gradient. Cet effet stabilisateur est exactement ce que démontre la figure : appuyez sur Lancer et observez la moyenne courante des lancers de pièce se stabiliser à mesure que n grandit. Remplacez les pièces par des gradients par exemple et n par B, et vous avez toute l'histoire de la taille de batch.