मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
बैच आकार, जिसे B लिखा जाता है, ग्रेडिएंट अनुमानों में शोर को बदल देता है। एक छोटा बैच एक शोर भरा पर सस्ता अनुमान देता है। एक बड़ा बैच एक स्थिर अनुमान देता है, पर हर अद्यतन ज़्यादा महँगा पड़ता है।
जब बैच आकार बदलता है, तो अक्सर सबसे अच्छी सीखने की दर भी बदल जाती है। बड़े बैच कभी-कभी बड़ी सीखने की दरों का उपयोग कर सकते हैं, पर उन्हें आमतौर पर वॉर्मअप और सावधानीपूर्ण सत्यापन चाहिए होता है।
एक एग्ज़िट पोल इसी तरह काम करता है। पाँच मतदाताओं से पूछना एक शोर भरा अनुमान देता है। पाँच हज़ार मतदाताओं से पूछना एक ज़्यादा स्थिर अनुमान देता है, पर इसमें ज़्यादा काम लगता है। बैच आकार ग्रेडिएंट के लिए पोल का आकार है। यही स्थिरता वाला असर आकृति दिखाती है: रन दबाएँ और देखें कि जैसे-जैसे n बढ़ता है, सिक्का उछालने के चलते औसत कैसे स्थिर होता जाता है। सिक्कों को प्रति-उदाहरण ग्रेडिएंट से और n को B से बदल दें, तो आपके पास पूरी बैच-आकार वाली कहानी है।