Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Een leersnelheidszoeker is een korte diagnostische run. Begin met een piepkleine leersnelheid, verhoog hem over veel mini-batches, en kijk hoe het verlies reageert.
Je probeert hier niet de training af te ronden; je bent op zoek naar het bereik waar het model begint te leren voordat het verlies instabiel wordt.
Belichtingsbracketing bij fotografie gebruikt hetzelfde idee. Je maakt een reeks foto's van te donker tot te licht, en kiest dan het bereik waar detail helder blijft. De zoeker doet hetzelfde met trainingsstappen: hij veegt η van bedeesd naar roekeloos en markeert waar het leren scherp wordt. Je kunt een handmatige zoeker naspelen in de figuur hieronder: run met een kleine η, zet hem iets hoger, run opnieuw. Ergens verandert de vloeiende glijbeweging in overschieten en stuiteren, en dat is de instortingsgrens waar de sweep naar zoekt.