Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Adam combine deux idées : le momentum pour le gradient moyen, et une mise à l'échelle façon RMSProp pour le gradient moyen au carré. Il corrige ensuite le biais de démarrage, car ces moyennes mobiles partent de zéro.
Cette combinaison fait d'Adam un premier choix courant en deep learning, en particulier quand les gradients sont bruyants et que les paramètres ont des échelles très différentes.
Un pilote automatique peut utiliser deux instruments à la fois. L'un montre la direction moyenne de dérive de l'avion. L'autre montre à quel point cette direction a été turbulente. Adam utilise la même idée : suivre la dérive persistante, mais mettre à l'échelle le mouvement selon la turbulence récente. Dans la figure, vous pouvez observer directement la moitié « momentum » d'Adam : augmentez β et le ricochet s'estompe. Adam ajoute un tour de plus par-dessus, en divisant le pas de chaque coordonnée par l'échelle de gradient récente propre à cette coordonnée.