मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
सीखने की दर खोजक एक छोटा निदानात्मक रन है। एक बहुत छोटी सीखने की दर से शुरू करें, इसे कई मिनी-बैचों में बढ़ाते जाएँ, और देखें कि हानि कैसे प्रतिक्रिया करती है।
यहाँ आप प्रशिक्षण पूरा करने की कोशिश नहीं कर रहे; आप उस सीमा को खोज रहे हैं जहाँ मॉडल सीखना शुरू करता है, इससे पहले कि हानि अस्थिर हो जाए।
कैमरे की एक्सपोज़र ब्रैकेटिंग वही विचार इस्तेमाल करती है। आप बहुत गहरे से बहुत चमकीले तक तस्वीरों की एक श्रृंखला लेते हैं, फिर वह सीमा चुनते हैं जहाँ विवरण साफ़ हो। खोजक प्रशिक्षण कदमों के साथ वही करता है, η को डरपोक से लापरवाह तक स्वीप करते हुए वहाँ चिह्नित करता है जहाँ सीखना स्पष्ट हो जाता है। आप नीचे दी गई आकृति में एक हस्तचालित खोजक का अभिनय कर सकते हैं: एक छोटे η से चलाएँ, इसे थोड़ा बढ़ाएँ, फिर से चलाएँ। कहीं न कहीं वह चिकनी फिसलन ओवरशूटिंग और उछाल में बदल जाती है, और वही वह विस्फोट-किनारा है जिसे स्वीप ढूँढ़ता है।