Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Um localizador de taxa de aprendizado é uma execução diagnóstica curta. Comece com uma taxa de aprendizado minúscula, aumente-a ao longo de muitos mini-batches e observe como a loss reage.
Você não está tentando terminar o treino aqui; está caçando a faixa em que o modelo começa a aprender antes de a loss ficar instável.
O bracketing de exposição em fotografia usa a mesma ideia. Você tira uma sequência de fotos, de escura demais a clara demais, e depois escolhe a faixa em que os detalhes ficam nítidos. O localizador faz o mesmo com os passos de treino, varrendo η de tímido a imprudente e marcando onde o aprendizado fica nítido. Você pode simular um localizador manual na figura abaixo: rode com um η pequeno, aumente um pouco, rode de novo. Em algum ponto o deslize suave vira ultrapassagem e oscilação, e essa é a borda de explosão que a varredura procura.