Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Le momentum donne de la mémoire à la descente de gradient. Au lieu d'utiliser seulement le gradient actuel, il conserve une moyenne mobile des gradients récents et avance dans cette direction accumulée.
Cela aide de deux façons : cela lisse les gradients bruyants, et cela construit de la vitesse le long des directions où les gradients continuent de s'accorder. À travers une ravine étroite, les gradients latéraux alternés s'annulent ; le long de la direction utile, les gradients répétés s'additionnent.
Une boule de bowling n'oublie pas la dernière poussée. Une poussée la met en mouvement, et des poussées répétées dans la même direction lui font gagner de la vitesse. De petites poussées latérales ne l'arrêtent pas net. Le momentum fait ressembler l'optimisation non plus à des pas séparés, mais à un mouvement avec de l'inertie. Voyez-le à l'œuvre ci-dessous : lancez d'abord la descente simple avec β = 0, puis augmentez β et relancez. Le ricochet latéral s'estompe et le chemin gagne de la vitesse le long de la vallée.