अनुकूलक निदान

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

अनुकूलक निदान का मतलब है प्रशिक्षण नुस्खा बदलने से पहले प्रशिक्षण रन को पढ़ना। एक हानि वक्र, एक ग्रेडिएंट नॉर्म, और एक सत्यापन वक्र आमतौर पर बता देते हैं कि समस्या कदम आकार, डेटा, स्केल, ओवरफिटिंग, या मॉडल की एक वास्तविक सीमा है।

यह अटकल नहीं है। हर विफलता पैटर्न का एक विशिष्ट आकार होता है: फटती हुई हानि, सपाट हानि, शोर भरी पर सुधरती हानि, प्रशिक्षण हानि घटना जबकि सत्यापन हानि बढ़ना, या अचानक NaN मान।

एक्वेरियम टेस्ट स्ट्रिप्स एक उपयोगी तस्वीर देती हैं। आप बादलदार पानी को बेतरतीब रसायन डालकर ठीक नहीं करते। आप पहले pH, अमोनिया, और नाइट्रेट जाँचते हैं, फिर उस रीडिंग का इलाज करते हैं जो वाकई खराब है। अनुकूलक निदान प्रशिक्षण के लिए भी यही करता है: पहले मापें, फिर उस चीज़ को बदलें जिस ओर माप इशारा करता है। नीचे दी गई आकृति से अपनी नज़र को कैलिब्रेट करें। एक स्वस्थ अवरोहण के लिए इसे एक बार चलाएँ, फिर η को बढ़ाकर उस अस्थिर, उछलते पैटर्न को इच्छानुसार दोबारा पैदा करें।