बहु रैखिक प्रतिगमन

डेटा से अनुमान, आकलन और निर्णय निर्माण

वास्तविक भविष्यवाणियाँ कई इनपुट, एक नहीं। बहु रैखिक प्रतिगमन रेखा को उच्च विमाओं में एक समतल (या अतिसमतल) तक सामान्यीकृत: प्रत्येक विशेषता का अपना गुणांक। सभी डेटा को एक आव्यूह X में ढेर, मॉडल सुंदर संक्षिप्त:

यहाँ X n×d अभिकल्प आव्यूह (प्रति अवलोकन एक पंक्ति, प्रति विशेषता एक स्तंभ), β गुणांकों का सदिश, और y आउटपुट। OLS हल का एक प्रसिद्ध संवृत रूप:

ज्यामिति चित्रण योग्य। भविष्यवाणियों का सदिश Xβ̂ X के स्तंभ समष्टि में रहना, आपके विशेषता स्तंभों के सभी संयोजन का समुच्चय। OLS वह β̂ चुनता जिसकी भविष्यवाणी उस समष्टि में y के सबसे निकट। ज्यामितीय रूप से, ŷ y का स्तंभ समष्टि पर लांबिक प्रक्षेपण, और अवशिष्ट y − ŷ इसके लंबबित। वह लांबिकता ठीक वह जो (XᵀX)⁻¹Xᵀ गणना।