प्रतिबंधित अनुकूलन

प्रथम सिद्धांतों से बहु-चर कलन

अक्सर आप हर जगह सबसे निचला बिंदु नहीं चाहते; आप एक प्रतिबंध के अधीन सबसे निचला बिंदु चाहते हैं। हानि न्यूनतम करें जबकि भार प्रामाण बाध्य रखें; मार्जिन अधिकतम करें जबकि बिंदु सही ढंग से वर्गीकृत रहें। लाग्रांज गुणक एक प्रतिबंध वक्र के अनुदिश अनुकूलन के लिए मानक उपकरण हैं।

जो ज्यामिति पकड़ना है: प्रतिबंधित अनुकूल पर, f के स्तर वक्र प्रतिबंध g(x) = 0 के स्पर्शी होते हैं। यदि वे छूने के बजाय काटते, तो आप प्रतिबंध पर फिसलकर बेहतर मान तक जा सकते। स्पर्शता का मतलब दोनों ग्रेडिएंट एक ही रेखा पर इशारा करते हैं, इसलिए वे समानांतर हैं:

अदिश λ (लाग्रांज गुणक) आनुपातिकता गुणक है। दोनों शर्तों को एक वस्तु में पैक करने पर लाग्रांजियन L = f − λg मिलता है; ∇L = 0 रखने पर ठीक ऊपर के समीकरण मिलते हैं।

ML में इसका स्थानप्रतिबंधित अनुकूलन ML में हर जगह है। सपोर्ट वेक्टर मशीन एक मार्जिन को वर्गीकरण प्रतिबंधों के अधीन अधिकतम करते हैं, और उनकी द्वैत समस्या लाग्रांज गुणकों से बनती है (KKT शर्तों के माध्यम से, वह विस्तार जो असमिकाओं को संभालता है)। प्रतिबंधित भार प्रामाण, RL में ट्रस्ट क्षेत्र, और प्रक्षेपित ग्रेडिएंट विधियाँ सभी '∇f, ∇g के समानांतर' तक जाते हैं। गुणक λ वही है जो दंड भार जो आप अक्सर हानि में जोड़ते…
▶ प्रतिबंधित अनुकूलन
← अवतलताबहु-चर टेलर →