Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Le paysage de la loss est la forme de L(θ) sur l'espace des paramètres. Pour les réseaux de neurones, ce paysage est de grande dimension et non convexe : il a de larges étendues plates, d'autres fortement courbées, des points selle qui montent dans certaines directions tout en descendant dans d'autres, et de nombreuses régions séparées à faible loss qui s'avèrent souvent connectées entre elles.
On ne peut pas visualiser directement le vrai paysage, mais on peut raisonner sur la géométrie locale : le gradient, la courbure, le bruit, et la façon dont différents optimiseurs s'y déplacent.
Un champ de dunes après un vent fort présente de larges zones plates, des crêtes acérées, et des chemins qui semblent horizontaux dans un sens mais en pente dans un autre. Un paysage de loss pose le même problème : la forme locale dépend de la direction. Vous pouvez construire la plus importante de ces formes dans la figure ci-dessous : faites glisser les deux courbures jusqu'à ce que l'une soit positive et l'autre négative. C'est une selle, horizontale le long d'une ligne et en pente le long d'une autre, et c'est le type de point stationnaire qui domine les paysages de grande dimension.