Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Hyperparameters zijn trainingskeuzes die buiten de geleerde parameters worden vastgelegd: leersnelheid, batchgrootte, gewichtsverval, lengte van de warmup, dropout, modelbreedte, en nog veel meer.
Hyperparameterzoektocht is het proces van configuraties uitproberen zonder jezelf voor de gek te houden. Het doel is niet een gelukkige run vinden. Het doel is een instelling vinden die betrouwbaar werkt op validatiedata.
Verfkleurkaartjes maken het idee van de zoektocht concreet. Je schildert niet de hele kamer opnieuw voor elke mogelijke kleur. Je test een gestructureerde set kleurkaartjes, versmalt het bereik, en probeert dan de meest veelbelovende tinten onder het juiste licht. Hyperparameterzoektocht versmalt trainingskeuzes op dezelfde manier. De figuur hieronder toont de machinerie die elk kleurkaartje beoordeelt: roterende validatievouwen, zodat elke kandidaat-instelling beoordeeld wordt op data waarop hij nooit getraind heeft. Die eerlijke beoordeling is wat een zoektocht onderscheidt van een gelukkige run.