Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
L'écrêtage du gradient limite l'ampleur que peut prendre une mise à jour. Si un batch produit un gradient énorme, l'écrêtage le réduit avant le pas de l'optimiseur.
L'écrêtage ne corrige ni l'objectif ni les données. Voyez-le comme une règle de sécurité : un batch extrême ne doit pas pouvoir projeter les paramètres à travers la surface de perte.
Le régulateur de vitesse d'un ascenseur est l'analogie ici. L'ascenseur peut se déplacer normalement, mais s'il commence à aller trop vite, le régulateur limite la vitesse avant que le mouvement ne devienne dangereux. L'écrêtage du gradient laisse passer les gradients normaux et limite les pics dangereux. La figure ci-dessous montre l'objet en train d'être écrêté : faites glisser le point autour du bol et observez la flèche du gradient s'allonger à mesure que la surface se raidit. L'écrêtage plafonne la longueur de cette flèche à c tout en conservant sa direction.