रैंक, शून्य समष्टि, स्तंभ समष्टि

रैखिक मानचित्र, सदिशों और आव्यूहों की ज्यामिति और बीजगणित

तीन राशियाँ बताती हैं कि एक आव्यूह वास्तव में क्या करता है। स्तंभ समष्टि वह सब कुछ है जो Ax पहुँच सकता है: स्तंभों का विस्तार, आव्यूह का "आउटपुट क्षेत्र।" रैंक उस स्तंभ समष्टि का विमा है, स्वतंत्र दिशाओं की संख्या जो A बनाता है। और शून्य समष्टि वह सब कुछ है जो A शून्य तक कुचलता है, सभी x जिनके लिए Ax = 0।

लैंडमार्क का उपयोग करके दिशा-निर्देश देने की कल्पना करें। यदि आप कहते हैं "टॉवर की ओर जाओ" और "ठीक उसके बगल में टॉवर के जुड़वां की ओर जाओ," तो आपने वास्तव में केवल एक वास्तविक दिशा दी है — दूसरा कुछ नया नहीं जोड़ता है। रैंक यह गिनाता है कि मैट्रिक्स की कितनी दिशाएं इस तरह वास्तव में स्वतंत्र हैं; कोई भी दिशा जो बिल्कुल भी गति न होने में सिमट जाती है वह नल स्पेस से संबंधित है।

विमाएँ एक साफ़ संतुलन मानते हैं, रैंक–शून्यता प्रमेय: इनपुट विमाएँ बाँटे जाते हैं बचने वाली दिशाओं (रैंक) और कुचली जाने वाली दिशाओं (शून्यता) में।

ML में इसका स्थानरैंक एक परत की वास्तविक व्यंजकता मापता है। एक निम्न-रैंक भार आव्यूह में निरर्थक न्यूरॉन हैं (कई बाकियों के संयोजन गणना करते) और बिना हानि संकुचित किया जा सकता है। यही LoRA का इंजन है: एक बड़े भार अद्यतन को एक निम्न-रैंक गुणनफल BA से बदलें, कहीं कम पैरामीटर प्रशिक्षित करें क्योंकि उपयोगी अद्यतन केवल कुछ दिशाओं में रहता है।
▶ रैंक, शून्य समष्टि, स्तंभ समष्टि
← गाऊसीय उन्मूलनआव्यूह प्रतिलोम →