प्रामाण

रैखिक मानचित्र, सदिशों और आव्यूहों की ज्यामिति और बीजगणित

एक प्रामाण उत्तर देता है "यह सदिश कितना बड़ा है?" यह लंबाई मापता है। बात यह है कि लंबाई मापने के एक से अधिक समझदार तरीके हैं, और चुनाव चुपचाप मशीन-लर्निंग मॉडलों के व्यवहार को आकार देता है।

डिफ़ॉल्ट L2 (यूक्लिडीय) प्रामाण है: मूल बिंदु से नोक तक सीधी-रेखा दूरी, पाइथागोरस से। L1 प्रामाण बजाय निरपेक्ष निर्देशांकों को जोड़ता है, "टैक्सीकैब" दूरी, मानो आप केवल ग्रिड सड़कों पर चल सकें। L∞ प्रामाण केवल एक सबसे बड़ा निर्देशांक लेता है।

कल्पना करें कि आप शहर के एक कोने से दूसरे कोने तक चल रहे हैं। सीधी-रेखा, कौवे की उड़ान जैसी दूरी L2 नॉर्म है — जिसे एक ड्रोन उड़ेगा। लेकिन अगर सड़कें आपको केवल ग्रिड के साथ यात्रा करने के लिए मजबूर करती हैं, तो आपके द्वारा वास्तव में चली गई सिटी-ब्लॉक दूरी L1 नॉर्म है। एक ही यात्रा, "कितनी दूर" के दो ईमानदार माप, और ग्रिड मार्ग कभी भी कौवे की उड़ान से छोटा नहीं होता है।

ML में इसका स्थानप्रामाण ही नियमितीकरण हैं। L2 भार क्षय ‖w‖₂² को दंडित करता है और हर भार को नरमी से शून्य की ओर खींचता है, मॉडल को चिकना रखता है। L1 नियमितीकरण ‖w‖₁ को दंडित करता है और कई भारों को ठीक शून्य तक ले जाता है, एक विरल, विशेषता-चयनकर्ता मॉडल देता है (ऊपर के हीरे के कोने इसलिए)। ग्रेडिएंट प्रामाण ‖∇L‖₂ प्रशिक्षण के दौरान निगरानी किया जाता है, और "ग्रेडिएंट क्लिपिंग" इसे बहुत बड़ा होने पर पुनःस्केल करता…
▶ प्रामाण
← बिंदु गुणनरैखिक संयोजन और विस्तार →