Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O tamanho do batch, escrito B, muda o ruído nas estimativas de gradiente. Um batch pequeno dá uma estimativa ruidosa, mas barata. Um batch grande dá uma estimativa mais estável, mas cada atualização custa mais.
Quando o tamanho do batch muda, a melhor taxa de aprendizado geralmente muda também. Batches grandes às vezes podem usar taxas de aprendizado maiores, mas costumam precisar de warmup e de validação cuidadosa.
Uma pesquisa de boca de urna funciona do mesmo jeito. Perguntar a cinco eleitores dá um palpite ruidoso. Perguntar a cinco mil eleitores dá uma estimativa mais estável, mas exige mais trabalho. O tamanho do batch é o tamanho da pesquisa para o gradiente. Esse efeito estabilizador é exatamente o que a figura demonstra: aperte Rodar e observe a média corrente de lançamentos de moeda se assentar conforme n cresce. Troque as moedas por gradientes por exemplo e n por B, e você tem toda a história do tamanho do batch.