Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Adam et AdamW diffèrent dans leur façon de gérer la décroissance des poids. Adam mélange une pénalité L2 à la mise à jour adaptative du gradient. AdamW applique la décroissance des poids comme une étape de réduction séparée.
Cette séparation compte car Adam remet à l'échelle les gradients paramètre par paramètre. Si la décroissance des poids est mélangée à ces gradients, la régularisation est elle aussi remise à l'échelle d'une manière qui dépend du paramètre.
Pensez à une bibliothèque qui veut que les livres soient rendus à temps. Une amende fixe par jour de retard est facile à comprendre : elle s'applique de la même façon à chaque emprunteur. Intégrer l'amende dans la formule d'abonnement personnalisée de chaque emprunteur rend la pénalité inégale et difficile à prévoir. AdamW est l'amende fixe et séparée ; Adam avec un L2 couplé intègre d'abord la pénalité dans sa mécanique propre à chaque paramètre. Et pourquoi pénaliser, au fond ? La figure donne la réponse : une flexibilité croissante continue de faire baisser l'erreur d'entraînement tandis que l'erreur de validation finit par remonter. La décroissance des poids est l'un des principaux outils pour rester près du point d'équilibre.