Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Die Batch-Größe, geschrieben B, verändert das Rauschen in Gradientenschätzungen. Ein kleiner Batch liefert eine verrauschte, aber billige Schätzung. Ein großer Batch liefert eine ruhigere Schätzung, aber jedes Update kostet mehr.
Ändert sich die Batch-Größe, ändert sich oft auch die beste Lernrate. Große Batches können manchmal größere Lernraten vertragen, brauchen dafür aber meist Warmup und sorgfältige Validierung.
Eine Nachwahlbefragung funktioniert genauso. Fünf Wähler zu befragen ergibt eine verrauschte Schätzung. Fünftausend Wähler zu befragen ergibt eine ruhigere Schätzung, kostet aber mehr Aufwand. Die Batch-Größe ist die Umfragegröße für den Gradienten. Genau diesen beruhigenden Effekt zeigt die Abbildung: Drücke Run und beobachte, wie sich der laufende Mittelwert der Münzwürfe mit wachsendem n einpendelt. Ersetze Münzen durch Pro-Beispiel-Gradienten und n durch B, und du hast die ganze Geschichte der Batch-Größe.