Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
La diagnostica dell'ottimizzatore significa leggere l'andamento dell'addestramento prima di cambiare la ricetta di addestramento. Una curva di loss, una norma del gradiente e una curva di validazione di solito dicono se il problema è la dimensione del passo, i dati, la scala, l'overfitting o un vero limite del modello.
Non è indovinare a caso. Ogni pattern di fallimento ha una forma tipica: loss che esplode, loss piatta, loss rumorosa ma in miglioramento, loss di addestramento che scende mentre la loss di validazione sale, oppure improvvisi valori NaN.
Le strisce reattive per acquari danno un'immagine utile. Non risolvi l'acqua torbida versandoci dentro sostanze chimiche a caso. Prima misuri pH, ammoniaca e nitrati, poi tratti il valore che è davvero fuori norma. La diagnostica dell'ottimizzatore fa lo stesso per l'addestramento: misura prima, poi cambia ciò a cui la misura punta. Usa la figura per calibrare l'occhio. Falla girare una volta per una discesa sana, poi alza η e riproduci a comando il pattern instabile e ballonzolante.