SVD

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

פירוק הערכים הסינגולריים עושה משהו ששום פירוק אחר אינו מצליח לעשות: כל מטריצה, ריבועית או מלבנית, בעלת דרגה מלאה או לא, מתפצלת לשלושה חלקים גאומטריים נקיים.

קרא מימין לשמאל: כל מפה לינארית היא אותה תנועה בת שלושה צעדים. Vᵀ מסובב את הקלט כדי שיתיישר עם הצירים הנכונים, Σ (אלכסונית, ובה הערכים הסינגולריים האי־שליליים σ₁ ≥ σ₂ ≥ …) מותח כל ציר, ו־U מסובב את התוצאה אל מרחב הפלט. מעגל של קלטים תמיד ממופה לאליפסה, והערכים הסינגולריים הם אורכי הצירים של אותה אליפסה.

באיור, צפה במעגל היחידה הופך לאליפסה שחצאי הצירים שלה הם בדיוק הערכים הסינגולריים.

איפה זה ב־MLSVD הוא המתמטיקה שמאחורי דחיסת מודלים. LoRA מקרב עדכון משקלים באמצעות מכפלה מדרגה נמוכה, ומנצל את העובדה שהעדכון השימושי חי במספר מצומצם של כיוונים בעלי σ גבוה. PCA הוא SVD של נתונים ממורכזים. SVD קטוע דוחס טבלאות embedding ותמונות על ידי שמירה רק על הכיוונים הסינגולריים הדומיננטיים, אותו מהלך "שמור על ה־σ הגדולים" בכל פעם מחדש.
▶ SVD
← מטריצות סימטריותPCA דרך SVD →