Plannings et warmup

Comment les modèles apprennent réellement, de la descente de gradient classique à Adam

Un taux d'apprentissage fixe est rarement optimal sur tout un entraînement. Au début, on peut se permettre de grands pas, car les paramètres sont loin d'un réglage utile. Plus tard, il faut souvent de plus petits pas pour se stabiliser.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Plannings et warmup
← Le taux d'apprentissageConditionnement et zigzag →