Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O gradiente descendente em batch completo usa todos os exemplos de treino para calcular cada atualização; o gradiente descendente estocástico vai para o outro extremo e usa apenas um. O gradiente descendente por mini-batch fica no meio, com um batch pequeno, e é esse meio-termo que o deep learning realmente usa na prática.
Um gradiente de mini-batch é uma estimativa ruidosa do gradiente completo. Ele é mais barato e muitas vezes mais útil do que o gradiente completo exato porque permite muitas atualizações rápidas e seu ruído pode ajudar na exploração.
O controle de qualidade de cereais faz o mesmo meio-termo. Abrir toda caixa é preciso mas lento. Checar uma única caixa é ruidoso. Checar uma bandeja de caixas dá uma estimativa útil rapidamente. Os mini-batches são essas bandejas. A figura abaixo torna a estatística visível: aperte Rodar e observe uma média corrente se estabilizar à medida que mais amostras chegam. Um gradiente de mini-batch é o mesmo tipo de objeto, uma média que se assenta conforme o batch cresce.