Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Parfois, les paramètres n'ont pas le droit d'aller n'importe où. Ils doivent satisfaire des contraintes : poids non négatifs, normes bornées, probabilités qui doivent rester non négatives et sommer à 1 (un ensemble appelé le simplexe de probabilité), limites d'équité, limites de sécurité, ou faisabilité physique.
L'optimisation sous contrainte consiste à minimiser la loss tout en restant à l'intérieur de l'ensemble autorisé. Une méthode pratique est la descente de gradient projetée : faire un pas normal, puis se projeter à nouveau sur l'ensemble faisable.
Un aspirateur robot équipé de bandes de délimitation peut essayer de traverser un mur, mais la limite le repousse dans la pièce autorisée. L'optimisation projetée fonctionne de la même façon. Un pas de gradient peut pointer vers l'extérieur, puis la projection ramène le résultat à l'intérieur de la région faisable par écrêtage. La figure ci-dessous montre le cœur géométrique de l'opération : faire glisser un point jusqu'à son représentant le plus proche sur un ensemble autorisé (ici, une droite). Se projeter sur une boîte ou sur un simplexe de probabilité utilise le même principe de point le plus proche, avec un ensemble autorisé différent.