बहु-चर टेलर

प्रथम सिद्धांतों से बहु-चर कलन

रैखिक सन्निकटन (पाठ 9) केवल ग्रेडिएंट का उपयोग करता था और एक सपाट स्पर्श तल देता था। अगला पद जोड़ें, वह जो हेसियन से बनता है, और आपको एक द्विघात सन्निकटन मिलता है: एक परवलयज जो पृष्ठ से चिपकता है, उसकी वक्रता पकड़ता है, सिर्फ झुकाव नहीं।

तीन टुकड़े पढ़ें: f(x) ऊँचाई है, ∇fᵀδ रैखिक (ढाल) संशोधन है, और ½δᵀHδ द्विघात (वक्रता) संशोधन है। वह अंतिम पद एक द्विघात रूप है, ठीक वह वस्तु जिसका चिह्न हेसियन के आइगेन मान नियंत्रित करते हैं।

घुमावदार सतह पर आराम करने वाला एक चपटा स्पर्शरेखा तल आपकी आंख पर एक कड़क कांच की स्लाइड रखने जैसा है: यह एक स्थान पर छूता है लेकिन बाकी हर जगह गैप रहता है। कॉन्टैक्ट लेंस (contact lens) बेहतर काम करता है क्योंकि यह आंख की सतह से मेल खाने के लिए मुड़ा हुआ है, यह केवल आंख के स्थान से मेल नहीं खाता है बल्कि यह कैसे मुड़ता है इससे भी मेल खाता है। हेसियन पद ½δᵀHδ वही अंतर्निहित (built-in) वक्रता है: यह सन्निकटन (approximation) को सतह पर आराम करने के बजाय उसे गले लगाने देता है।

ML में इसका स्थानएक समय में एक छोटा ग्रेडिएंट कदम नीचे रेंगने के बजाय, आप हानि पर एक परवलयज फिट कर सकते हैं और सीधे उसके तल पर कूद सकते हैं। यही न्यूटन विधि है: यह स्थानीय द्विघात को ठीक न्यूनतम करता है, δ = −H⁻¹∇f कदम रखती है, और सादे ग्रेडिएंट डिसेंट से बहुत तेज़ अभिसरण करती है जब वक्रता बदलती है। Adam और साथी उसी वक्रता सुधार को सस्ते में, प्रति-पैरामीटर, बिना पूरा (विशाल) हेसियन बनाए लागू करते हैं।
▶ बहु-चर टेलर
← प्रतिबंधित अनुकूलनद्वि-समाकलन →