Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
RMSProp adapte la taille du pas séparément pour chaque paramètre. Il suit une moyenne mobile des gradients au carré, puis divise le gradient par la racine de cette moyenne.
L'effet est simple : les coordonnées dont les gradients sont systématiquement grands obtiennent des pas effectifs plus petits ; les coordonnées à petits gradients obtiennent des pas relativement plus grands. Cela aide quand les échelles de gradient diffèrent énormément.
Imaginez des tapis roulants d'usine transportant des colis de poids différents. Si chaque tapis reçoit la même commande moteur brute, les lignes lourdes peuvent tressauter tandis que les lignes légères bougent à peine. RMSProp surveille la charge de chaque tapis et ajuste la commande tapis par tapis. La figure ci-dessous montre la géométrie que RMSProp est conçu pour combattre : un bol étiré où les gradients d'une coordonnée sont systématiquement plus grands que ceux de l'autre. RMSProp réduit les pas de la coordonnée raide et, relativement, augmente ceux de la coordonnée plate.