Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Gradiëntafdaling met volledige batch gebruikt elk trainingsvoorbeeld om iedere update te berekenen; stochastische gradiëntafdaling gaat naar het andere uiterste en gebruikt er maar één. Mini-batch-gradiëntafdaling zit ertussenin met een kleine batch, en dat compromis is waar deep learning in de praktijk op draait.
Een mini-batchgradiënt is een ruizige schatting van de volledige gradiënt. Hij is goedkoper en vaak nuttiger dan de exacte volledige gradiënt, omdat hij veel snelle updates oplevert en zijn ruis kan helpen bij verkenning.
Kwaliteitscontroles van ontbijtgranen gebruiken hetzelfde compromis. Elke doos openen is nauwkeurig maar traag. Eén doos controleren is ruizig. Een lade dozen controleren geeft snel een bruikbare schatting. Mini-batches zijn die lades. De figuur hieronder maakt de statistiek zichtbaar: druk op Start en kijk hoe een lopend gemiddelde tot rust komt naarmate er meer steekproeven binnenkomen. Een mini-batchgradiënt is hetzelfde soort object, een gemiddelde dat stabieler wordt naarmate de batch groeit.