Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Um laboratório do otimizador compara otimizadores em condições controladas. Corre o mesmo modelo, os mesmos dados, o mesmo tamanho de batch, o mesmo orçamento de escalonamento e o mesmo plano de sementes, depois muda o otimizador ou uma definição do otimizador.
Sem esse controlo, as comparações de otimizadores tornam-se histórias. Uma execução mais rápida pode ter usado uma taxa de aprendizagem melhor, um escalonamento diferente, ou uma semente com mais sorte.
Um dia de testes numa pista de corrida tem regras para isto. Se comparas dois carros, mantens a pista, os pneus, a carga de combustível e o tempo o mais controlados possível. Caso contrário, não podes saber se o carro era mais rápido ou se as condições eram mais fáceis. A figura abaixo é uma bancada de laboratório em miniatura: a mesma superfície esticada em cada execução, com η, β e κ como as tuas variáveis. Muda exatamente uma, corre, e compara os caminhos. É essa toda a disciplina desta lição, num único widget.