न्यूनतम वर्ग — रैखिक बीजगणित

रैखिक मानचित्र, सदिशों और आव्यूहों की ज्यामिति और बीजगणित

जब Ax = b का कोई सटीक हल नहीं (पैरामीटर से अधिक डेटा के साथ सामान्य मामला), आप अगला सर्वोत्तम करें: वह x खोजें जो Ax को b के जितना निकट संभव बनाता। "निकट" का मतलब सबसे छोटा वर्ग त्रुटि। यह न्यूनतम वर्ग, साधारण प्रतिगमन के अंतर्गत विधि।

ज्यामिति पूरी कहानी। पहुँच योग्य आउटपुट Ax A के स्तंभ समष्टि बनाते, एक उच्च-विमीय स्थान के भीतर एक तल। लक्ष्य b सामान्यतः उस तल से बाहर तैरता। निकटतम पहुँच योग्य बिंदु b का तल पर लांबिक प्रक्षेप: b से सीधे नीचे एक लंब डालें, और जहाँ यह उतरता वह Ax।

आकृति में, b को रेखा से बाहर खिसकाएँ और देखें प्रक्षेप (सर्वोत्तम फिट) सीधे नीचे रहने के लिए सरकता, त्रुटि हमेशा लंबवत।

ML में इसका स्थानरैखिक प्रतिगमन न्यूनतम वर्ग है। बंद-रूप हल β = (XᵀX)⁻¹Xᵀy अभिलाक्षणिक समीकरण गुणांकों के लिए हल। वही प्रक्षेप धारणा छद्म-प्रतिलोम A⁺ परिभाषित, वह सर्व-प्रयोजन उपकरण "Ax = b जितना संभव हल करो।" ML में हर वर्ग-त्रुटि हानि इस चित्र तक जितनी है जो मॉडल पहुँच सकता उस पर प्रक्षेप।