मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
RMSProp हर पैरामीटर के लिए अलग-अलग कदम आकार अनुकूलित करता है। यह वर्गित ग्रेडिएंट का एक चलता औसत ट्रैक करता है, फिर ग्रेडिएंट को उस औसत के वर्गमूल से विभाजित करता है।
प्रभाव सरल है: लगातार बड़े ग्रेडिएंट वाले निर्देशांकों को छोटे प्रभावी कदम मिलते हैं; छोटे ग्रेडिएंट वाले निर्देशांकों को अपेक्षाकृत बड़े कदम मिलते हैं। यह तब मदद करता है जब ग्रेडिएंट स्केल बेतहाशा अलग-अलग हों।
अलग-अलग वज़न के पैकेज ले जाने वाली फ़ैक्टरी कन्वेयर बेल्ट की कल्पना करें। यदि हर बेल्ट एक ही कच्चे मोटर कमांड पर चलती है, तो भारी लाइनें झटके खा सकती हैं जबकि हल्की लाइनें मुश्किल से हिलती हैं। RMSProp हर बेल्ट के भार को देखता है और प्रति बेल्ट कमांड को स्केल करता है। नीचे दिया चित्र वह ज्यामिति दिखाता है जिससे लड़ने के लिए RMSProp बना है: एक खिंचा हुआ कटोरा जहाँ एक निर्देशांक के ग्रेडिएंट लगातार दूसरे से बड़े चलते हैं। RMSProp खड़े निर्देशांक के कदमों को सिकोड़ता है और, अपेक्षाकृत, सपाट निर्देशांक के कदमों को बढ़ाता है।