Adam

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

Adam दो विचारों को जोड़ता है: औसत ग्रेडिएंट के लिए मोमेंटम, और औसत वर्गित ग्रेडिएंट के लिए RMSProp-शैली स्केलिंग। फिर यह शुरुआती पूर्वाग्रह को ठीक करता है क्योंकि वे चलते औसत शून्य से शुरू होते हैं।

यह संयोजन Adam को डीप लर्निंग में एक सामान्य पहला चुनाव बनाता है, खासकर जब ग्रेडिएंट शोर भरे हों और पैरामीटर के स्केल बहुत अलग-अलग हों।

एक ऑटोपायलट एक साथ दो उपकरण उपयोग कर सकता है। एक विमान के बहाव की औसत दिशा दिखाता है। दूसरा दिखाता है कि वह दिशा कितनी अशांत रही है। Adam वही विचार उपयोग करता है: लगातार बहाव के साथ चलें, पर हाल की अशांति से चाल को स्केल करें। चित्र में आप Adam के मोमेंटम वाले आधे हिस्से को सीधे देख सकते हैं: β बढ़ाएँ और उछाल कम हो जाता है। Adam इसके ऊपर एक और तरकीब जोड़ता है, हर निर्देशांक के कदम को उस निर्देशांक के अपने हाल के ग्रेडिएंट स्केल से विभाजित करके।