Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Um laboratório de otimizadores compara otimizadores em condições controladas. Rode o mesmo modelo, dados, tamanho de batch, orçamento de cronograma e plano de sementes, depois mude o otimizador ou uma configuração dele.
Sem esse controle, comparações de otimizadores viram histórias. Uma execução mais rápida pode ter usado uma taxa de aprendizado melhor, um cronograma diferente, ou uma semente com mais sorte.
Um dia de testes numa pista de corrida tem regras para isso. Se você compara dois carros, mantém a pista, os pneus, a carga de combustível e o clima o mais controlados possível. Senão você não consegue saber se o carro era mais rápido ou se as condições eram mais fáceis. A figura abaixo é uma bancada de laboratório em miniatura: a mesma superfície esticada em toda execução, com η, β e κ como suas variáveis. Mude exatamente uma, rode e compare os caminhos. Essa é toda a disciplina desta lição em um único widget.