Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Batchgrootte, geschreven als B, verandert de ruis in gradiëntschattingen. Een kleine batch geeft een ruizige maar goedkope schatting. Een grote batch geeft een stabielere schatting, maar elke update kost meer.
Wanneer de batchgrootte verandert, verandert de beste leersnelheid vaak ook mee. Grote batches kunnen soms grotere leersnelheden gebruiken, maar meestal hebben ze warmup en zorgvuldige validatie nodig.
Een exitpoll werkt op dezelfde manier. Vijf kiezers vragen geeft een ruizige gok. Vijfduizend kiezers vragen geeft een stabielere schatting, maar het kost meer werk. Batchgrootte is de pollgrootte voor de gradiënt. Dat stabiliserende effect is precies wat de figuur laat zien: druk op Run en kijk hoe het lopende gemiddelde van muntopgooien tot rust komt naarmate n groeit. Vervang munten door gradiënten per voorbeeld en n door B, en je hebt het hele verhaal van batchgrootte.