Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A paragem antecipada usa o desempenho de validação para decidir quando parar o treino. Se a loss de validação deixar de melhorar durante tempo suficiente, mantém-se o melhor checkpoint e para-se. O progresso aqui é contado em épocas: uma época é uma passagem completa pelos dados de treino, e a validação é tipicamente verificada depois de cada uma.
Isto é simultaneamente uma poupança de computação e um regularizador. Evita que o modelo continue a ajustar-se ao conjunto de treino depois de o desempenho de validação ter começado a piorar.
Uma torradeira dá o instinto certo. Tirar o pão cedo demais deixa-o pálido. Esperar tempo demais queima-o. Vigias a torrada e paras quando ela atinge a melhor cor, não quando a resistência esteve ligada o máximo de tempo possível. A figura abaixo mostra de onde vêm os dados de "vigilância": reservas parte dos dados de treino, ou alternas partições (folds) como se mostra, para que o modelo seja avaliado em exemplos que nunca ajustou. A paragem antecipada lê o seu sinal exatamente dessa fatia não vista.