Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Os hiperparâmetros são escolhas de treino definidas fora dos parâmetros aprendidos: taxa de aprendizagem, tamanho de batch, decaimento de pesos, duração do aquecimento, dropout, largura do modelo, e muitos outros.
A procura de hiperparâmetros é o processo de experimentar configurações sem te enganares a ti próprio. O objetivo não é encontrar uma execução com sorte. O objetivo é encontrar uma definição que funcione de forma fiável nos dados de validação.
As cartelas de amostras de tinta tornam a ideia da procura concreta. Não voltas a pintar a divisão inteira para cada cor possível. Testas um conjunto estruturado de amostras, estreitas o intervalo, e depois experimentas os tons mais promissores sob a luz certa. A procura de hiperparâmetros estreita as escolhas de treino da mesma forma. A figura abaixo mostra a maquinaria que pontua cada amostra: partições de validação (folds) rotativas, para que cada definição candidata seja avaliada em dados em que nunca treinou. Essa pontuação honesta é o que separa uma procura de uma execução com sorte.