Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Een vaste leersnelheid is zelden optimaal voor een hele trainingsrun. Vroeg in het trainen kunnen grotere stappen prima, omdat de parameters ver van bruikbare instellingen af staan. Later heeft het trainen vaak kleinere stappen nodig om zich te settelen.
Een schema verandert η in de tijd. Warmup begint met een kleine leersnelheid en verhoogt die geleidelijk voordat het hoofdschema begint.
Wanneer je een vlieger oplaat, trek je de lijn niet meteen tot volle spanning aan. Je laat hem stijgen, voelt de wind, en past dan de lijn aan terwijl hij stabiliseert. Warmup is de zachte start. Het latere schema is hoe je de lijn beheert nadat de vlieger vliegt.