Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O gradiente descendente em lote completo usa todos os exemplos de treino para calcular cada atualização; o gradiente descendente estocástico vai para o outro extremo e usa apenas um. O gradiente descendente por mini-batch fica no meio com um lote pequeno, e é esse compromisso que o deep learning realmente usa.
Um gradiente de mini-batch é uma estimativa ruidosa do gradiente completo. É mais barato e frequentemente mais útil do que o gradiente completo exato porque dá muitas atualizações rápidas e o seu ruído pode ajudar a exploração.
As verificações de qualidade de cereais usam o mesmo compromisso. Abrir todas as caixas é exato mas lento. Verificar uma caixa é ruidoso. Verificar um tabuleiro de caixas dá uma estimativa útil depressa. Os mini-batches são esses tabuleiros. A figura abaixo torna a estatística visível: carrega em Correr e observa uma média corrente a estabilizar à medida que chegam mais amostras. Um gradiente de mini-batch é o mesmo tipo de objeto, uma média que estabiliza à medida que o batch cresce.