Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
La regularización suele introducirse como una penalización que se añade a la pérdida. Geométricamente, cambia qué vectores de parámetros se consideran baratos o caros. Eso cambia la forma del problema de optimización. Dos símbolos se repiten a continuación: R(θ) nombra el término de penalización, y λ (lambda) fija con qué fuerza cuenta.
Las dos penalizaciones más comunes se comportan de forma distinta: L2 desalienta los pesos grandes de forma suave, mientras que L1 tiene esquinas que pueden llevar algunos pesos exactamente a cero.
Empacar una maleta con un límite estricto de peso tiene la misma forma. Cada artículo puede ayudar, pero los artículos pesados agotan el presupuesto rápidamente. La regularización hace que las elecciones de parámetros grandes consuman presupuesto, así que el modelo los conserva solo cuando ayudan lo suficiente. La figura muestra por qué vale la pena tener ese presupuesto: a medida que crece la flexibilidad del modelo, el error de entrenamiento sigue bajando mientras el error de validación eventualmente vuelve a subir. La regularización es la perilla que frena la flexibilidad antes de que llegue ese repunte.