Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
A parada antecipada usa o desempenho de validação para decidir quando parar o treino. Se a loss de validação parar de melhorar por tempo suficiente, você mantém o melhor checkpoint e para. O progresso aqui é contado em épocas: uma época é uma passagem completa pelos dados de treino, e a validação normalmente é verificada depois de cada uma.
Isso é ao mesmo tempo uma economia de computação e um regularizador. Ele impede que o modelo continue se ajustando ao conjunto de treino depois que o desempenho de validação começou a piorar.
Uma torradeira dá o instinto certo. Tirar o pão cedo demais deixa ele pálido. Esperar demais queima. Você observa a torrada e para quando ela atinge a melhor cor, não quando a resistência ficou ligada pelo máximo de tempo possível. A figura abaixo mostra de onde vêm os dados que estão "observando": separe uma parte dos dados de treino, ou revezando os folds como mostrado, para que o modelo seja julgado em exemplos que nunca ajustou. A parada antecipada lê seu sinal exatamente dessa fatia separada.