Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Le diagnostic de l'optimiseur consiste à lire l'exécution d'entraînement avant de modifier la recette d'entraînement. Une courbe de perte, une norme de gradient et une courbe de validation indiquent généralement si le problème vient de la taille du pas, des données, de l'échelle, du surapprentissage, ou d'une véritable limite du modèle.
Ce n'est pas une affaire de hasard. Chaque schéma d'échec a une forme typique : une perte qui explose, une perte plate, une perte bruitée mais qui s'améliore, une perte d'entraînement qui baisse tandis que la perte de validation monte, ou de soudaines valeurs NaN.
Les bandelettes de test pour aquarium donnent une image utile. On ne corrige pas une eau trouble en y versant des produits chimiques au hasard. On teste d'abord le pH, l'ammoniac et les nitrates, puis on traite la mesure qui pose réellement problème. Le diagnostic de l'optimiseur fait de même pour l'entraînement : mesurer d'abord, puis changer ce que la mesure désigne. Utilisez la figure pour calibrer votre œil. Lancez-la une fois pour une descente saine, puis augmentez η pour reproduire à volonté le schéma instable et rebondissant.