Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Tam batch gradyan inişi, her güncellemeyi hesaplamak için tüm eğitim örneklerini kullanır; stokastik gradyan inişi ise diğer uca gider ve yalnızca birini kullanır. Mini-batch gradyan inişi, küçük bir batch ile ikisinin arasında durur ve derin öğrenmenin gerçekte üzerinde çalıştığı uzlaşma budur.
Bir mini-batch gradyanı, tam gradyanın gürültülü bir tahminidir. Tam gradyandan daha ucuzdur ve genellikle daha yararlıdır, çünkü birçok hızlı güncelleme sağlar ve gürültüsü keşfe yardımcı olabilir.
Mısır gevreği kalite kontrolleri aynı uzlaşmayı kullanır. Her kutuyu açmak doğrudur ama yavaştır. Tek bir kutuyu kontrol etmek gürültülüdür. Bir tepsi dolusu kutuyu kontrol etmek hızlıca yararlı bir tahmin verir. Mini-batch'ler işte o tepsilerdir. Aşağıdaki şekil istatistiği görünür kılar: Çalıştır'a bas ve daha fazla örnek geldikçe koşan bir ortalamanın nasıl yerleştiğini izle. Bir mini-batch gradyanı da aynı türden bir nesnedir, batch büyüdükçe istikrar kazanan bir ortalama.