Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Les moindres carrés alternés, ou ALS, sont un optimiseur pour les problèmes qui deviennent faciles quand on fige la moitié des inconnues. C'est courant en factorisation matricielle, en particulier dans les systèmes de recommandation.
L'idée est simple : maintenir les facteurs des objets fixes et résoudre pour les facteurs des utilisateurs. Puis maintenir les facteurs des utilisateurs fixes et résoudre pour les facteurs des objets. Répéter jusqu'à ce que la reconstruction cesse de s'améliorer.
Deux mâts de tente peuvent être ajustés de cette façon. Si les deux sont lâches, la forme de la toile est difficile à corriger d'un coup. Maintenez le mât gauche stable et ajustez le droit. Puis maintenez le droit stable et ajustez le gauche. Répéter ces ajustements plus simples peut tendre toute la tente. La figure ci-dessous montre un demi-pas de cette boucle : avec un côté figé (la ligne fixe), le meilleur choix pour l'autre côté est un ajustement par moindres carrés. Faites glisser la cible et observez l'ajustement la suivre ; ALS ne fait qu'alterner le côté qui devient la ligne figée.