मोमेंटम

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

मोमेंटम ग्रेडिएंट डिसेंट को स्मृति देता है। केवल मौजूदा ग्रेडिएंट का उपयोग करने के बजाय, यह हाल के ग्रेडिएंट का एक चलता औसत रखता है और उस संचित दिशा में कदम बढ़ाता है।

यह दो तरीकों से मदद करता है: यह शोर भरे ग्रेडिएंट को सहज बनाता है, और उन दिशाओं में गति बनाता है जहाँ ग्रेडिएंट बार-बार सहमत होते हैं। एक संकरी घाटी में, बारी-बारी से आने वाले पार्श्व ग्रेडिएंट एक-दूसरे को रद्द कर देते हैं; उपयोगी दिशा में, बार-बार आने वाले ग्रेडिएंट जुड़ते जाते हैं।

एक बॉलिंग बॉल आखिरी धक्के को नहीं भूलती। एक धक्का उसे हिलाना शुरू करता है, और एक ही दिशा में बार-बार धक्के गति बनाते हैं। छोटे साइड धक्के उसे तुरंत उलट नहीं देते। मोमेंटम अनुकूलन को अलग-अलग कदमों की तरह कम और जड़त्व वाली गति की तरह अधिक बना देता है। नीचे इसे होते देखें: पहले β = 0 के साथ सादा डिसेंट चलाएँ, फिर β बढ़ाकर फिर से चलाएँ। इधर-उधर का उछाल कम हो जाता है और रास्ता घाटी के अनुदिश गति पकड़ लेता है।