अवतलता

प्रथम सिद्धांतों से बहु-चर कलन

कुछ अनुकूलन समस्याएँ आसान हैं और कुछ कठिन, और एक गुण रेखा खींचता है: अवतलता। एक अवतल फलन का एकल कटोरा आकार है बिना झूठे तल के, इसलिए जहाँ ग्रेडिएंट शून्य है वहाँ आपको वह वैश्विक न्यूनतम मिल गया। कोई काठी नहीं, कोई स्थानीय जाल नहीं।

परिभाषित चित्र: एक फलन अवतल है यदि उसके ग्राफ़ पर किन्हीं दो बिंदुओं के बीच सीधी जीवा ग्राफ़ से ऊपर (या पर) रहती है। फलन कभी अपने स्वयं के शॉर्टकट से ऊपर नहीं उभरता।

एक चिकने सलाद के कटोरे की तुलना एक ऊबड़-खाबड़ अंडे के कार्टन से करें। कटोरे में एक असली तल होता है: कहीं से भी एक कंचा (marble) घुमाएं और वह हमेशा एक ही निचले बिंदु पर स्थिर होता है। अंडे का कार्टन छोटे-छोटे जालों से भरा होता है, जिनमें से प्रत्येक एक झूठा तल होता है जो कंचे को सबसे निचले हिस्से से पहले ही पकड़ लेता है। एक उत्तल फ़ंक्शन (convex function) सलाद का कटोरा है, और वह एक एकल गारंटीकृत न्यूनतम (guaranteed minimum) ही है जो इसे अनुकूलित (optimize) करना आसान बनाता है।

ML में इसका स्थानअवतल/अ-अवतल विभाजन ML का बहुत कुछ समझाता है। रैखिक और लॉजिस्टिक रिग्रेशन अवतल हैं, इसलिए ग्रेडिएंट डिसेंट सिद्ध रूप से वैश्विक अनुकूल तक पहुँचता है और कोई भी दो रन सहमत होते हैं। गहन नेटवर्क ज़बरदस्त रूप से अ-अवतल हैं, क्रांतिक बिंदुओं से भरे, परिणाम जो प्रारंभिकीकरण और यादृच्छिकता से बदलते हैं। वह अंतर है कि शास्त्रीय ML भरोसेमंद और गहन शिक्षण नाज़ुक महसूस होता है। जेन्सन असमिका, इस बीच, VAE…
▶ अवतलता
← Rⁿ में क्रांतिक बिंदुप्रतिबंधित अनुकूलन →