Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Le taux d'apprentissage est la taille du pas de la descente de gradient. Le gradient indique dans quelle direction la loss monte le plus vite ; l'optimiseur se déplace dans la direction opposée. Le taux d'apprentissage η décide de la distance parcourue.
Trop petit, et l'entraînement avance à pas de tortue. Trop grand, et la mise à jour peut sauter par-dessus la région utile, rebondir, ou exploser. La plupart des problèmes d'optimiseur qui semblent mystérieux sont, avant tout, des problèmes de taille de pas.
Un kayak illustre bien ce compromis. De petits coups de pagaie gardent le contrôle mais font avancer lentement. De grands coups peuvent faire dévier le kayak hors du chenal, et il faut alors dépenser de l'énergie à se corriger. Le taux d'apprentissage, c'est la longueur du coup de pagaie. Essayez ci-dessous : choisissez un point de départ, puis augmentez η d'un essai à l'autre et regardez une progression régulière se transformer en dépassements et en rebonds.