תלות לינארית ובסיס

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

אוסף וקטורים בלתי־תלוי לינארית כשאף אחד מהם אינו צירוף של האחרים. כל אחד מושך לכיוון חדש באמת, אף אחד לא מיותר. אם כן אפשר לכתוב אחד כצירוף של השאר, האוסף תלוי ומכיל עודף.

המבחן החד: הדרך היחידה לייצר את וקטור האפס מצירוף היא להשתמש במשקלים כולם אפס.

חשבו על ערכת לגו מינימלית. סט של אבני בניין הוא בלתי תלוי ליניארית (independent) כאשר כל אבן מוסיפה צורה שלא יכולתם לבנות מהאחרות — אף אחת לא מיותרת (redundant). אם אבן אחת היא בעצם רק כמה אבנים אחרות שחוברו יחד, היא משקל עודף, ואתם יכולים לזרוק אותה מבלי לאבד אף צורה שניתנת לבנייה. בסיס הוא הערכה הרזה ביותר שעדיין בונה הכל.

איפה זה ב־MLזו משמעות הדרגה: מספר הכיוונים הבלתי־תלויים שמטריצה משתמשת בהם בפועל. אם שורות מטריצת המשקלים תלויות, חלק מהנוירונים מיותרים — הם מחשבים צירופים של האחרים ואינם מוסיפים כוח ייצוג. דרגה נמוכה פירושה שאפשר לדחוס את השכבה (הרעיון שמאחורי LoRA), וטבלת embedding בדרגה מלאה פירושה שכל כיוון תכונה הוא אכן שונה.
▶ תלות לינארית ובסיס
← צירופים לינאריים ופרישהמטריצות כמפות לינאריות →