Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Der Full-Batch-Gradientenabstieg nutzt jedes Trainingsbeispiel, um jede Aktualisierung zu berechnen; der stochastische Gradientenabstieg geht ins andere Extrem und nutzt nur eines. Der Mini-Batch-Gradientenabstieg liegt dazwischen mit einem kleinen Batch, und auf diesem Kompromiss läuft das Deep Learning in der Praxis.
Ein Mini-Batch-Gradient ist eine verrauschte Schätzung des vollständigen Gradienten. Er ist billiger und oft nützlicher als der exakte vollständige Gradient, weil er viele schnelle Aktualisierungen liefert und sein Rauschen die Erkundung unterstützen kann.
Qualitätskontrollen bei Müsli nutzen denselben Kompromiss. Jede Packung zu öffnen ist genau, aber langsam. Eine einzige Packung zu prüfen ist verrauscht. Ein Tablett voller Packungen zu prüfen liefert schnell eine brauchbare Schätzung. Mini-Batches sind diese Tabletts. Das Bild unten macht die Statistik sichtbar: Drücke Run und beobachte, wie sich ein laufender Durchschnitt einpendelt, während mehr Stichproben eintreffen. Ein Mini-Batch-Gradient ist dasselbe Objekt, ein Durchschnitt, der sich mit wachsendem Batch stabilisiert.