Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
La régularisation est souvent introduite comme une pénalité ajoutée à la loss. Géométriquement, elle change quels vecteurs de paramètres sont considérés comme bon marché ou coûteux. Cela change la forme du problème d'optimisation. Deux symboles reviennent ci-dessous : R(θ) désigne le terme de pénalité, et λ (lambda) fixe l'intensité de son poids.
Les deux pénalités les plus courantes se comportent différemment : L2 décourage les grands poids en douceur, tandis que L1 a des coins qui peuvent pousser certains poids exactement à zéro.
Faire sa valise avec une limite de poids stricte a la même forme. Chaque objet peut être utile, mais les objets lourds épuisent vite le budget. La régularisation fait en sorte que les grands choix de paramètres consomment du budget, si bien que le modèle ne les garde que s'ils en valent vraiment la peine. La figure montre pourquoi ce budget vaut la peine d'exister : à mesure que la flexibilité du modèle augmente, l'erreur d'entraînement continue de baisser tandis que l'erreur de validation finit par remonter. La régularisation est le bouton qui retient la flexibilité avant que cette remontée n'arrive.