Skalierung der Batch-Größe

Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam

Die Batch-Größe, geschrieben B, verändert das Rauschen in Gradientenschätzungen. Ein kleiner Batch liefert eine verrauschte, aber billige Schätzung. Ein großer Batch liefert eine ruhigere Schätzung, aber jedes Update kostet mehr.

Ändert sich die Batch-Größe, ändert sich oft auch die beste Lernrate. Große Batches können manchmal größere Lernraten vertragen, brauchen dafür aber meist Warmup und sorgfältige Validierung.

Eine Nachwahlbefragung funktioniert genauso. Fünf Wähler zu befragen ergibt eine verrauschte Schätzung. Fünftausend Wähler zu befragen ergibt eine ruhigere Schätzung, kostet aber mehr Aufwand. Die Batch-Größe ist die Umfragegröße für den Gradienten. Genau diesen beruhigenden Effekt zeigt die Abbildung: Drücke Run und beobachte, wie sich der laufende Mittelwert der Münzwürfe mit wachsendem n einpendelt. Ersetze Münzen durch Pro-Beispiel-Gradienten und n durch B, und du hast die ganze Geschichte der Batch-Größe.

Wo das im ML vorkommtTraining in großem Maßstab justiert Batch-Größe, Lernrate, Warmup und Gradientenakkumulation oft gemeinsam. Schon die Batch-Größe allein zu ändern, verändert das Optimierungsproblem, das das Modell erlebt.
▶ Skalierung der Batch-Größe
← Mixed Precision & Loss ScalingGradientenakkumulation →