मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
फुल-बैच ग्रेडिएंट डिसेंट हर अद्यतन की गणना के लिए हर प्रशिक्षण उदाहरण का उपयोग करता है; स्टोकास्टिक ग्रेडिएंट डिसेंट दूसरे छोर पर जाकर केवल एक का उपयोग करता है। मिनी-बैच ग्रेडिएंट डिसेंट एक छोटे बैच के साथ इन दोनों के बीच बैठता है, और वही समझौता है जिस पर डीप लर्निंग असल में चलती है।
एक मिनी-बैच ग्रेडिएंट पूरे ग्रेडिएंट का एक शोर भरा अनुमान है। यह सटीक पूरे ग्रेडिएंट से सस्ता और अक्सर अधिक उपयोगी होता है क्योंकि यह कई त्वरित अद्यतन देता है और इसका शोर अन्वेषण में मदद कर सकता है।
अनाज (cereal) की गुणवत्ता जाँच वही समझौता उपयोग करती है। हर बॉक्स खोलना सटीक है पर धीमा। एक बॉक्स जाँचना शोर भरा है। बॉक्सों की एक ट्रे जाँचना एक उपयोगी अनुमान तेज़ी से देता है। मिनी-बैच वही ट्रे हैं। नीचे दिया चित्र सांख्यिकी को दृश्यमान बनाता है: रन दबाएँ और देखें एक चलता औसत जैसे-जैसे और नमूने आते हैं स्थिर होता जाता है। एक मिनी-बैच ग्रेडिएंट वैसी ही वस्तु है, एक औसत जो बैच बड़ा होने पर स्थिर हो जाता है।