Rⁿ में क्रांतिक बिंदु

प्रथम सिद्धांतों से बहु-चर कलन

कई विमाओं में अनुकूलन ठीक वहीं शुरू होता है जहाँ 1-D में शुरू होता था: ढाल शून्य जहाँ है वहाँ खोजें। लेकिन अब 'ढाल' पूरा ग्रेडिएंट सदिश है, इसलिए एक क्रांतिक बिंदु वह है जहाँ हर आंशिक अवकलज एक साथ शून्य हो, ∇f = 0।

यह आवश्यक है लेकिन पर्याप्त नहीं: शून्य ग्रेडिएंट एक न्यूनतम, अधिकतम, या काठी चिह्नित करता है। उनमें अंतर करने के लिए आप हेसियन लाते हैं और उसके आइगेन मान चिह्न पढ़ते हैं, पाठ 13 का द्वितीय-क्रम परीक्षण। शून्य ग्रेडिएंट उम्मीदवार को खोजता है; हेसियन उसे वर्गीकृत करता है।

पहाड़ी गोल्फ कोर्स पर चलें और समतल स्थानों की तलाश करें, जहाँ गेंद स्थिर बैठेगी। पहाड़ी की चोटी पर टी (tee), खोखले में निचला हरा (green), और एक रिज के साथ चपटी काठी सभी ऐसे स्थान हैं जहाँ ज़मीन हर दिशा में क्षण भर के लिए समतल होती है। वह समतलता (flatness) ∇f = 0 है; चाहे आप चोटी पर हों, खोखले में हों, या काठी पर हों, यह एक अलग सवाल है जिसका जवाब हेसियन (Hessian) देता है।

ML में इसका स्थानहर ग्रेडिएंट-आधारित प्रशिक्षण रन ∇L = 0 की खोज है: अनुकूलक तब तक कदम रखता है जब तक ग्रेडिएंत नगण्य रूप से छोटा न हो। काठी-बिंदु कहानी (पाठ 13) के कारण, जो यह आमतौर पर खोजता है वह 'वह' वैश्विक न्यूनतम नहीं बल्कि एक विशाल संख्या में लगभग-समान निम्न-हानि क्षेत्रों में से एक है। कि ग्रेडिएंट डिसेंट विश्वसनीय रूप से एक पर्याप्त रूप से अच्छा में उतरता है वह गहन शिक्षण का बहुत कुछ अनुभवजन्य रहस्य, और…
▶ Rⁿ में क्रांतिक बिंदु
← गणना ग्राफ़अवतलता →