प्रतिबंधित अनुकूलन और प्रक्षेपण

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

कभी-कभी पैरामीटर को कहीं भी जाने की अनुमति नहीं होती। उन्हें प्रतिबंधों को संतुष्ट करना होता है: ऋणेतर भार, परिबद्ध प्रामाण, प्रायिकताएँ जिन्हें ऋणेतर रहना और 1 तक जोड़ना ज़रूरी है (एक समुच्चय जिसे प्रायिकता सिम्प्लेक्स कहते हैं), निष्पक्षता सीमाएँ, सुरक्षा सीमाएँ, या भौतिक व्यवहार्यता।

प्रतिबंधित अनुकूलन का मतलब है स्वीकार्य समुच्चय के भीतर रहते हुए हानि को न्यूनतम करना। एक व्यावहारिक विधि है प्रक्षेपित ग्रेडिएंट डिसेंट: एक सामान्य कदम लें, फिर वापस व्यवहार्य समुच्चय पर प्रक्षेपित करें।

सीमा पट्टियों वाला एक रोबोट वैक्यूम एक दीवार से होकर जाने की कोशिश कर सकता है, पर सीमा उसे वापस स्वीकार्य कमरे में धकेल देती है। प्रक्षेपित अनुकूलन उसी तरह काम करता है। एक ग्रेडिएंट कदम बाहर की ओर इशारा कर सकता है, फिर प्रक्षेपण परिणाम को वापस व्यवहार्य क्षेत्र में क्लिप कर देता है। नीचे दिया चित्र इस संक्रिया का ज्यामितीय दिल दिखाता है: एक बिंदु को खींचकर एक स्वीकार्य समुच्चय (वहाँ, एक रेखा) पर उसके सबसे नज़दीकी प्रतिनिधि तक ले जाना। एक बॉक्स या प्रायिकता सिम्प्लेक्स पर प्रक्षेपित करना एक अलग स्वीकार्य समुच्चय के साथ वही निकटतम-बिंदु सिद्धांत उपयोग करता है।