ज्यामिति के रूप में नियमितीकरण

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

नियमितीकरण को अक्सर हानि में जोड़े गए एक दंड के रूप में पेश किया जाता है। ज्यामितीय रूप से, यह बदलता है कि कौन-से पैरामीटर सदिश सस्ते या महंगे माने जाते हैं। यह अनुकूलन समस्या का आकार बदल देता है। नीचे दो प्रतीक बार-बार आते हैं: R(θ) दंड पद को नाम देता है, और λ (लैम्ब्डा) तय करता है कि यह कितनी दृढ़ता से गिना जाता है।

दो सबसे सामान्य दंड अलग-अलग व्यवहार करते हैं: L2 बड़े भारों को सहजता से हतोत्साहित करता है, जबकि L1 में कोने होते हैं जो कुछ भारों को ठीक शून्य तक धकेल सकते हैं।

एक सख़्त वज़न सीमा वाला सूटकेस पैक करना वही आकार रखता है। हर वस्तु मदद कर सकती है, पर भारी वस्तुएँ बजट को जल्दी खर्च कर देती हैं। नियमितीकरण बड़े पैरामीटर चुनावों को बजट खर्च कराता है, इसलिए मॉडल उन्हें तभी रखता है जब वे पर्याप्त मदद करें। चित्र दिखाता है कि बजट क्यों रखने लायक है: जैसे-जैसे मॉडल की लचीलापन बढ़ता है, प्रशिक्षण त्रुटि गिरती रहती है जबकि सत्यापन त्रुटि आख़िरकार वापस बढ़ने लगती है। नियमितीकरण वह नॉब है जो उस उलटफेर के आने से पहले लचीलेपन को क़ाबू में रखता है।