नियमित प्रतिगमन

डेटा से अनुमान, आकलन और निर्णय निर्माण

OLS वह गुणांक खोजता जो प्रशिक्षण डेटा सबसे अच्छा फिट, जो ठीक समस्या जब आपके पास कई विशेषताएँ या थोड़ा डेटा: यह शोर भी फिट, और गुणांक जंगली मानों तक झूलते। नियमित प्रतिगमन इसे एक दंड जोड़कर वश में, बड़े गुणांकों को दंडित, थोड़ी प्रशिक्षण फिट बदले बहुत बेहतर सामान्यीकरण।

रिज प्रतिगमन एक L2 दंड जोड़ता, गुणांक सदिश का वर्ग लंबाई:

नॉब λ शक्ति नियंत्रित। λ = 0 सादा OLS; λ बढ़ने पर, हर गुणांक शून्य की ओर सिकुड़ता, मॉडल चिकना। यह सिकुड़न पिछले पाठ के बीमार-स्थित (XᵀX)⁻¹ भी ठीक: रिज λI जोड़ता, व्युत्क्रमणीयता गारंटी।