मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
ग्रेडिएंट संचयन मेमोरी सीमित होने पर एक बड़े बैच का अनुकरण करता है। हर माइक्रो-बैच के बाद कदम बढ़ाने के बजाय, आप कई माइक्रो-बैचों के ग्रेडिएंट जोड़ते हैं, फिर एक अनुकूलक कदम लेते हैं।
प्रभावी बैच आकार माइक्रो-बैच आकार गुणा संचयन कदमों की संख्या है। इससे एक छोटा GPU ऐसा व्यवहार कर पाता है जैसे उसने एक बड़े बैच पर प्रशिक्षण लिया हो।
एक बरसाती पानी की टंकी इस विचार को पकड़ लेती है। एक छोटा प्याला पूरे बग़ीचे को एक साथ पानी नहीं दे सकता, इसलिए आप कई प्याले टंकी में डालते हैं और फिर टंकी की मात्रा इस्तेमाल करते हैं। ग्रेडिएंट संचयन एक अद्यतन से पहले कई छोटे ग्रेडिएंट योगदान इकट्ठा करता है। नीचे दी गई आकृति बिल्कुल यही प्रक्रिया है: हर नया पद एक प्याला है, और चढ़ते हुए स्तंभ टंकी को उसके योग की ओर भरते हैं। ग्रेडिएंट संचयन ग्रेडिएंट का एक आंशिक योग है जिसे आप एक ही कदम में भुनाते हैं।