Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
La parada temprana usa el rendimiento de validación para decidir cuándo detener el entrenamiento. Si la pérdida de validación deja de mejorar durante suficiente tiempo, conservas el mejor checkpoint y te detienes. Aquí el progreso se cuenta en épocas: una época es una pasada completa por los datos de entrenamiento, y la validación normalmente se comprueba después de cada una.
Esto es a la vez un ahorro de cómputo y un regularizador. Evita que el modelo siga ajustándose al conjunto de entrenamiento después de que el rendimiento de validación haya empezado a empeorar.
Una tostadora da el instinto correcto. Sacar el pan demasiado pronto lo deja pálido. Esperar demasiado lo quema. Vigilas la tostada y te detienes cuando alcanza el mejor color, no cuando la resistencia ha estado encendida el mayor tiempo posible. La figura de abajo muestra de dónde viene esa data de «vigilancia»: reservar parte de los datos de entrenamiento, o rotar pliegues como se muestra, de modo que el modelo se juzgue con ejemplos que nunca ajustó. La parada temprana lee su señal exactamente de esa porción reservada.