Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Une loss convexe offre une garantie puissante : tout minimum local est global. Cela rend l'optimisation conceptuellement propre. De nombreux objectifs classiques du ML sont convexes ; les réseaux profonds, en général, ne le sont pas.
La convexité mérite malgré tout d'être étudiée, car elle donne le cas de référence. Elle indique à quoi ressemblerait l'optimisation s'il n'y avait ni mauvais pièges locaux, ni complications de type point selle, ni surprises graves dans le paysage.
Une antenne parabolique a une seule direction de visée nette quand la surface du signal est lisse et n'a qu'un seul pic. Une feuille de papier aluminium froissée a de nombreuses petites facettes brillantes qui peuvent accrocher la lumière localement. L'optimisation convexe se rapproche de l'antenne ; l'entraînement d'un réseau profond se rapproche du papier froissé. La figure ci-dessous montre le test qui définit la convexité sur une courbe : faites glisser les deux extrémités et observez que la corde droite qui les relie ne passe jamais sous la courbe.