Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Hiperparâmetros são escolhas de treino definidas fora dos parâmetros aprendidos: taxa de aprendizado, tamanho do batch, weight decay, duração do warmup, dropout, largura do modelo e muitos outros.
A busca de hiperparâmetros é o processo de testar configurações sem se enganar. O objetivo não é encontrar uma execução com sorte. O objetivo é encontrar uma configuração que funcione de forma confiável nos dados de validação.
As cartelas de amostras de tinta tornam a ideia da busca concreta. Você não repinta o cômodo inteiro para cada cor possível. Você testa um conjunto estruturado de amostras, estreita a faixa e depois experimenta os tons mais promissores sob a luz certa. A busca de hiperparâmetros estreita as escolhas de treino da mesma forma. A figura abaixo mostra o mecanismo que pontua cada amostra: folds de validação em rodízio, de modo que cada configuração candidata é julgada em dados que nunca treinou. Essa pontuação honesta é o que separa uma busca de uma execução com sorte.