सीखने की दर

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

सीखने की दर ग्रेडिएंट डिसेंट का कदम आकार है। ग्रेडिएंट बताता है कि हानि किस दिशा में सबसे तेज़ी से बढ़ती है; अनुकूलक उसकी विपरीत दिशा में चलता है। सीखने की दर η तय करती है कि वह कितनी दूर चलता है।

बहुत छोटी हो तो प्रशिक्षण रेंगता है। बहुत बड़ी हो तो अद्यतन उपयोगी क्षेत्र को लांघ सकता है, उछल सकता है, या फट सकता है। ज़्यादातर अनुकूलक समस्याएँ जो रहस्यमय लगती हैं, असल में सबसे पहले कदम-आकार की समस्याएँ होती हैं।

एक कयाक यह समझौता दिखाती है। छोटे-छोटे चप्पू के झटके नियंत्रण बनाए रखते हैं पर प्रगति धीमी कर देते हैं। बड़े झटके कयाक को चैनल से आगे मोड़ सकते हैं, और फिर आप सुधार करने में ऊर्जा बर्बाद करते हैं। सीखने की दर वही चप्पू-झटके की लंबाई है। नीचे इसे आज़माएँ: एक शुरुआती बिंदु चुनें, फिर रन के बीच η बढ़ाएँ और देखें स्थिर प्रगति कैसे ओवरशूटिंग और उछाल में बदल जाती है।