Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Un laboratoire d'optimiseurs compare des optimiseurs dans des conditions contrôlées. Utilisez le même modèle, les mêmes données, la même taille de batch, le même budget de schedule et le même plan de graines aléatoires, puis changez l'optimiseur ou un seul de ses réglages.
Sans ce contrôle, les comparaisons d'optimiseurs deviennent des histoires. Une exécution plus rapide peut simplement avoir utilisé un meilleur taux d'apprentissage, un schedule différent, ou une graine aléatoire plus chanceuse.
Une journée d'essais sur circuit automobile a des règles pour cela. Si vous comparez deux voitures, vous gardez la piste, les pneus, la charge de carburant et la météo aussi contrôlées que possible. Sinon, vous ne pouvez pas dire si la voiture était plus rapide ou si les conditions étaient plus faciles. La figure ci-dessous est un banc de laboratoire miniature : la même surface étirée à chaque exécution, avec η, β et κ comme variables. Changez-en exactement une, lancez, et comparez les trajectoires. C'est toute la discipline de cette leçon condensée dans un seul widget.