Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
A taxa de aprendizado é o tamanho do passo do gradiente descendente. O gradiente diz para que lado a loss sobe mais rápido; o otimizador se move no sentido oposto. A taxa de aprendizado η decide até onde ele se move.
Pequena demais e o treinamento se arrasta. Grande demais e a atualização pode saltar por cima da região útil, ricochetear ou explodir. A maioria dos problemas de otimizador que parecem misteriosos são, na verdade, problemas de tamanho de passo antes de tudo.
Um caiaque mostra essa tensão. Remadas minúsculas mantêm o controle mas tornam o progresso lento. Remadas enormes podem virar o caiaque para além do canal, e aí você gasta energia se corrigindo. A taxa de aprendizado é o comprimento da remada. Experimente abaixo: escolha um ponto de partida, depois aumente η entre execuções e observe o progresso constante virar overshoot e ricochete.