Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Een optimizer-lab vergelijkt optimizers onder gecontroleerde omstandigheden. Run hetzelfde model, dezelfde data, batchgrootte, schemabudget en seed-plan, en verander dan de optimizer of één optimizer-instelling.
Zonder die controle worden optimizer-vergelijkingen verhaaltjes. Een snellere run kan een betere leersnelheid, een ander schema, of gewoon een gelukkiger seed hebben gebruikt.
Een testdag op het racecircuit heeft hier regels voor. Als je twee auto's vergelijkt, houd je het circuit, de banden, de brandstoflading en het weer zo gecontroleerd mogelijk. Anders kun je niet zeggen of de auto sneller was of de omstandigheden makkelijker. De figuur hieronder is een miniatuurlaboratoriumtafel: elke run hetzelfde uitgerekte oppervlak, met η, β en κ als je variabelen. Verander er precies één, run, en vergelijk paden. Dat is de hele discipline van deze les, in één widget.