Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
De leersnelheid is de stapgrootte van gradiëntafdaling. De gradiënt zegt welke kant het verlies het snelst stijgt; de optimizer beweegt de tegenovergestelde kant op. De leersnelheid η bepaalt hoe ver hij beweegt.
Te klein en het trainen kruipt vooruit. Te groot en de update kan over het bruikbare gebied heen springen, terugkaatsen, of ontploffen. De meeste optimizerproblemen die er mysterieus uitzien, zijn in de eerste plaats stapgrootteproblemen.
Een kajak laat de afweging zien. Kleine peddelslagen houden controle maar maken de voortgang traag. Grote slagen kunnen de kajak voorbij het kanaal draaien, waarna je energie verspilt aan corrigeren. De leersnelheid is de peddellengte. Probeer het hieronder: kies een startpunt en verhoog daarna η tussen de runs, en kijk hoe gestage vooruitgang overgaat in overschieten en terugkaatsen.