उत्तलता

प्रथम सिद्धांतों से एक-चर कलन

उत्तलता वह आकार है जो अनुकूलन को आसान बनाता। एक उत्तल फलन सर्वत्र ऊपर उठता, एक कटोरे की तरह, और वह एक गुण इसे न्यूनीकृत करना आसान बनाता: ठीक एक सबसे निचला बिंदु, और कोई भी नीचे की ढाल सीधे वहाँ ले जाती।

उत्तलता देखने के तीन तुल्य तरीके। पहला, द्वितीय अवकलज सर्वत्र अऋणात्मक: f″(x) ≥ 0। दूसरा, वक्र ऊपर उठता और कभी नीचे नहीं मुड़ता। तीसरा, परिभाषित चित्र, किन्हीं दो बिंदुओं के बीच जीवा वक्र के ऊपर।

एक चिकनी घाटी, या एक कटोरे के अंदर की तस्वीर लें, और एक कंचे को कहीं भी गिरा दें। कोई फर्क नहीं पड़ता कि यह कहाँ से शुरू होता है, कंचा हमेशा एकल सबसे निचले बिंदु पर लुढ़कता है और वहीं बस जाता है। उत्तलता आपको बिल्कुल यही देती है: एक घाटी, कोई झूठी तली नहीं, इसलिए कोई भी ढलान वाला रास्ता एक सच्चे न्यूनतम की ओर ले जाता है।

ML में इसका स्थानउत्तलता ML में विभाजक रेखा है। रैखिक/लॉजिस्टिक प्रतिगमन और SVM की उत्तल हानि: एक वैश्विक न्यूनतम, प्रशिक्षण विश्वसनीय और पुनरुत्पाद्य। गहरे नेटवर्क की जंगली अ-उत्तल हानि, अनगिनत स्थानीय न्यूनतम और काठियों के साथ, इसलिए अलग-अलग यादृच्छिक आरंभीकरण अलग-अलग समाधानों में, इसलिए सीखने की दर इतनी मायने रखती, और इसलिए कोई एक "वही" उत्तम नहीं। आपकी हानि उत्तल है या नहीं — यह बताता कि अनुकूलक पर कितना…
▶ उत्तलता
← द्वितीय अवकलज जाँचग्रेडिएंट डिसेंट पूर्वावलोकन →