रैखिक स्वतंत्रता और आधार

रैखिक मानचित्र, सदिशों और आव्यूहों की ज्यामिति और बीजगणित

सदिशों का एक समुच्चय रैखिक स्वतंत्र है जब उनमें से कोई भी बाकियों का संयोजन नहीं है। प्रत्येक वास्तव में एक नई दिशा खींचता है, कोई भी निरर्थक नहीं। यदि आप एक को बाकियों के संयोजन के रूप में लिख सकते हैं, तो समुच्चय आश्रित है और इसमें शिथिलता है।

साफ़ परीक्षण: एक संयोजन से शून्य सदिश बनाने का एकमात्र तरीका सभी-शून्य भारों का उपयोग करना है।

एक न्यूनतम लेगो टूलकिट के बारे में सोचें। बिल्डिंग ब्लॉक्स का एक सेट रैखिक रूप से independent होता है जब हर ब्लॉक एक ऐसा आकार जोड़ता है जिसे आप दूसरों से नहीं बना सकते थे — कोई भी redundant नहीं है। यदि एक ब्लॉक वास्तव में एक साथ जुड़े हुए कुछ अन्य ब्लॉक्स ही है, तो यह अनावश्यक वजन है, और आप बिना कोई भी निर्माण योग्य आकार खोए इसे हटा सकते हैं। एक आधार वह सबसे छोटा किट है जो अभी भी सब कुछ बनाता है।

ML में इसका स्थानयही रैंक का अर्थ है: एक आव्यूह वास्तव में जितनी स्वतंत्र दिशाओं का उपयोग करता है। यदि एक भार आव्यूह की पंक्तियाँ आश्रित हैं, तो कुछ न्यूरॉन निरर्थक हैं। वे बाकियों के संयोजन गणना करते हैं और कोई निरूपण शक्ति नहीं जोड़ते। निम्न रैंक का मतलब एक संकुचित परत है (LoRA के पीछे का विचार), और एक पूर्ण-रैंक एम्बेडिंग तालिका का मतलब हर विशेषता दिशा वास्तव में अलग है।
▶ रैखिक स्वतंत्रता और आधार
← रैखिक संयोजन और विस्ताररैखिक मानचित्र के रूप में आव्यूह →