Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A taxa de aprendizagem é o tamanho do passo do gradiente descendente. O gradiente diz em que direção a loss sobe mais depressa; o otimizador move-se no sentido oposto. A taxa de aprendizagem η decide quão longe se move.
Demasiado pequena e o treino arrasta-se. Demasiado grande e a atualização pode saltar por cima da região útil, ricochetear ou explodir. A maioria dos problemas de otimizador que parecem misteriosos são, antes de mais, problemas de tamanho de passo.
Um caiaque mostra a compensação. Pequenas remadas mantêm o controlo mas tornam o progresso lento. Remadas enormes podem desviar o caiaque para lá do canal, e depois gastas energia a corrigir. A taxa de aprendizagem é o comprimento da remada. Experimenta abaixo: escolhe um início, depois sobe η entre execuções e observa o progresso estável a transformar-se em ultrapassagens e ricochetes.