हानि परिदृश्य

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

हानि परिदृश्य पैरामीटर स्पेस पर L(θ) का आकार है। न्यूरल नेटवर्क के लिए यह उच्च-विमीय और गैर-उत्तल होता है: इसमें विस्तृत सपाट फैलाव, तीखे मुड़े हुए हिस्से, काठी बिंदु जो कुछ दिशाओं में चढ़ते हैं जबकि दूसरों में गिरते हैं, और कई अलग-अलग कम-हानि क्षेत्र होते हैं जो अक्सर आपस में जुड़े हुए निकलते हैं।

आप असली परिदृश्य को सीधे दृश्यमान नहीं कर सकते, पर आप स्थानीय ज्यामिति के बारे में तर्क कर सकते हैं: ग्रेडिएंट, वक्रता, शोर, और अलग-अलग अनुकूलक उनके बीच से कैसे गुज़रते हैं।

तेज़ हवा के बाद एक रेत के टीलों का मैदान विस्तृत सपाट थेगली, तीखी कटकें, और ऐसे रास्ते रखता है जो एक दिशा से समतल दिखते हैं पर दूसरी से ढलानदार। एक हानि परिदृश्य में वही समस्या है: स्थानीय आकार दिशा पर निर्भर करता है। आप नीचे दिए चित्र में यह सबसे महत्वपूर्ण आकार बना सकते हैं: दोनों वक्रताएँ खिसकाएँ जब तक एक धनात्मक और दूसरी ऋणात्मक न हो जाए। वही एक काठी है, एक रेखा के अनुदिश समतल और दूसरी के अनुदिश ढलानदार, और यह उस तरह का स्थिर बिंदु है जो उच्च-विमीय परिदृश्यों में हावी रहता है।