Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Optimizer-diagnostiek betekent: de trainingsrun lezen voordat je het trainingsrecept verandert. Een verliescurve, een gradiëntnorm en een validatiecurve vertellen meestal al of het probleem bij de stapgrootte, de data, de schaal, overfitting of een echte modelbeperking ligt.
Dit is geen giswerk. Elk faalpatroon heeft een typische vorm: exploderend verlies, vlak verlies, ruizig maar verbeterend verlies, trainingsverlies dat daalt terwijl validatieverlies stijgt, of plotselinge NaN-waarden.
Aquarium-teststrips geven een nuttig beeld. Je repareert troebel water niet door willekeurige chemicaliën erin te gooien. Je test eerst pH, ammoniak en nitraat, en behandelt dan de meting die daadwerkelijk slecht is. Optimizer-diagnostiek doet hetzelfde voor training: eerst meten, dan pas veranderen wat de meting aanwijst. Gebruik de figuur om je oog te kalibreren. Laat hem eerst een gezonde afdaling zien, draai dan η op en reproduceer op afroep het instabiele, stuiterende patroon.