Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Les hyperparamètres sont des choix d'entraînement fixés en dehors des paramètres appris : taux d'apprentissage, taille de batch, décroissance des poids, durée du warmup, dropout, largeur du modèle, et bien d'autres.
La recherche d'hyperparamètres est le processus qui consiste à essayer des configurations sans se tromper soi-même. Le but n'est pas de trouver une exécution chanceuse. Le but est de trouver un réglage qui fonctionne de façon fiable sur les données de validation.
Les cartes de nuanciers de peinture rendent l'idée de recherche concrète. On ne repeint pas toute la pièce pour chaque couleur possible. On teste un ensemble structuré de nuances, on resserre la plage, puis on essaie les teintes les plus prometteuses sous le bon éclairage. La recherche d'hyperparamètres resserre les choix d'entraînement de la même façon. La figure ci-dessous montre le mécanisme qui note chaque nuance : des plis de validation tournants, de sorte que chaque réglage candidat est jugé sur des données sur lesquelles il ne s'est jamais entraîné. Cette notation honnête est ce qui distingue une recherche d'une exécution chanceuse.