Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Um localizador de taxa de aprendizagem é uma execução de diagnóstico curta. Começa com uma taxa de aprendizagem minúscula, aumenta-a ao longo de muitos mini-batches, e observa como a loss responde.
Não estás a tentar terminar o treino aqui; estás à procura do intervalo onde o modelo começa a aprender antes de a loss se tornar instável.
O bracketing de exposição em fotografia usa a mesma ideia. Tiras uma sequência de fotos, desde demasiado escuras até demasiado claras, e depois escolhes o intervalo onde o detalhe é nítido. O localizador faz o mesmo com os passos de treino, varrendo η desde tímido até imprudente e assinalando onde a aprendizagem se torna nítida. Podes representar um localizador manual na figura abaixo: corre com um η pequeno, aumenta-o um pouco, corre de novo. Nalgum ponto o deslize suave transforma-se em ultrapassagem e ressalto, e é essa a fronteira de explosão que a varredura procura.