मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
एक स्थिर सीखने की दर पूरे प्रशिक्षण रन के लिए शायद ही कभी सबसे अच्छी होती है। प्रारंभिक प्रशिक्षण बड़ी चालें संभाल सकता है क्योंकि पैरामीटर उपयोगी सेटिंग्स से दूर होते हैं। बाद के प्रशिक्षण को स्थिर होने के लिए अक्सर छोटी चालों की ज़रूरत होती है।
एक शेड्यूल समय के साथ η को बदलता है। वार्मअप एक छोटी सीखने की दर से शुरू होता है और मुख्य शेड्यूल शुरू होने से पहले उसे धीरे-धीरे बढ़ाता है।
जब आप एक पतंग उड़ाते हैं, तो आप डोर को तुरंत पूरे तनाव तक नहीं खींचते। आप उसे ऊपर उठने देते हैं, हवा को महसूस करते हैं, फिर जैसे-जैसे वह स्थिर होती है डोर को समायोजित करते हैं। वार्मअप वही हल्की शुरुआत है। बाद का शेड्यूल यह है कि पतंग उड़ने के बाद आप डोर कैसे संभालते हैं।