Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O tamanho de batch, escrito B, muda o ruído nas estimativas de gradiente. Um batch pequeno dá uma estimativa ruidosa mas barata. Um batch grande dá uma estimativa mais estável, mas cada atualização custa mais.
Quando o tamanho de batch muda, a melhor taxa de aprendizagem muda frequentemente também. Batches grandes podem por vezes usar taxas de aprendizagem maiores, mas normalmente precisam de aquecimento e de validação cuidadosa.
Uma sondagem à boca das urnas funciona da mesma forma. Perguntar a cinco eleitores dá uma estimativa ruidosa. Perguntar a cinco mil eleitores dá uma estimativa mais estável, mas dá mais trabalho. O tamanho de batch é o tamanho da sondagem para o gradiente. Esse efeito estabilizador é exatamente o que a figura demonstra: carrega em Run e observa a média corrente de lançamentos de moeda a assentar à medida que n cresce. Troca as moedas por gradientes por exemplo e o n por B, e tens toda a história do tamanho de batch.