Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Un taux d'apprentissage fixe est rarement optimal sur tout un entraînement. Au début, on peut se permettre de grands pas, car les paramètres sont loin d'un réglage utile. Plus tard, il faut souvent de plus petits pas pour se stabiliser.
Un planning fait varier η au fil du temps. Le warmup démarre avec un petit taux d'apprentissage et l'augmente progressivement avant que le planning principal ne commence.
Quand on lance un cerf-volant, on ne tire pas d'un coup sec sur le fil pour le mettre en pleine tension. On le laisse s'élever, on sent le vent, puis on ajuste le fil à mesure qu'il se stabilise. Le warmup, c'est ce lancer en douceur. Le planning qui suit, c'est la façon dont on gère le fil une fois le cerf-volant en vol.