Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Les méthodes du premier ordre utilisent les gradients. Les méthodes du second ordre utilisent aussi la courbure, généralement via la hessienne. La courbure indique à l'optimiseur comment le gradient lui-même change quand les paramètres se déplacent.
La méthode de Newton utilise cette courbure pour choisir un pas capable de sauter directement au minimum d'une quadratique. Le prix à payer, c'est que les hessiennes sont énormes dans les réseaux de neurones modernes.
Un grutier utilise un tableau de charge, car la direction ne suffit pas. La charge fait aussi fléchir la flèche, et ce fléchissement change quel mouvement est sûr. L'optimisation du second ordre lit ce fléchissement, pas seulement la traction, avant de décider de la distance à parcourir. Dans la figure, vous tenez le rôle du grutier : faites glisser les deux courbures et regardez la surface devenir un bol, un dôme, ou une selle. Les valeurs propres de la hessienne sont exactement ces deux boutons.