דרגה, מרחב אפס, מרחב עמודות

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

שלושה גדלים תופסים את מה שמטריצה באמת עושה. מרחב העמודות הוא כל מה ש־Ax יכול להגיע אליו: המרחב הנפרש על ידי העמודות, "אזור הפלט" של המטריצה. הדרגה היא המימד של מרחב העמודות, מספר הכיוונים הבלתי־תלויים באמת ש־A מייצרת. ומרחב האפס הוא כל מה ש־A מרסקת לאפס, כלומר כל x שעבורו Ax = 0.

דמיינו שאתם נותנים הוראות הגעה באמצעות נקודות ציון. אם תאמרו "לכו לכיוון המגדל" ו-"לכו לכיוון התאום של המגדל ממש לצידו," בעצם נתתם רק כיוון אמיתי אחד — השני לא מוסיף שום דבר חדש. ה- דרגה (rank) סופרת כמה מהכיוונים של המטריצה הם באמת בלתי תלויים בצורה כזו; כל כיוון שקורס לשום תנועה בכלל שייך ל- מרחב האפס (null space).

המימדים מצייתים לאיזון נקי, משפט הדרגה־אפסיות: מימדי הקלט מתחלקים לכיוונים ששורדים (הדרגה) ולכיוונים שמרוסקים (האפסיות).

איפה זה ב־MLהדרגה מודדת את כושר הביטוי האמיתי של שכבה. מטריצת משקלים בעלת דרגה נמוכה כוללת נוירונים מיותרים (חלקם מחשבים צירופים של האחרים) וניתנת לדחיסה ללא הפסד. זהו המנוע של LoRA: החלף עדכון משקלים גדול במכפלה מדרגה נמוכה BA, ואמן הרבה פחות פרמטרים, מכיוון שהעדכון השימושי חי רק במספר מצומצם של כיוונים.
▶ דרגה, מרחב אפס, מרחב עמודות
← אלימינציה גאוסיאניתהופכית מטריצה →