Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
Une recherche de taux d'apprentissage est une courte exécution de diagnostic. Commencez avec un taux d'apprentissage minuscule, augmentez-le sur de nombreux mini-batches, et observez comment la perte réagit.
Vous n'essayez pas de terminer l'entraînement ici ; vous cherchez la plage dans laquelle le modèle commence à apprendre avant que la perte ne devienne instable.
Le bracketing d'exposition en photographie utilise la même idée. Vous prenez une série de clichés allant du trop sombre au trop lumineux, puis vous choisissez la plage où les détails sont nets. La recherche fait la même chose avec les pas d'entraînement, en balayant η du timide au téméraire et en repérant où l'apprentissage devient net. Vous pouvez rejouer une recherche manuelle dans la figure ci-dessous : lancez avec un petit η, augmentez-le légèrement, relancez. Quelque part, la glissade régulière se transforme en dépassements et en rebonds, et c'est cette limite d'explosion que le balayage recherche.