PCA דרך SVD

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

ניתוח רכיבים עיקריים מוצא את הכיוונים שבהם הנתונים שלך משתנים הכי הרבה, ואז מאפשר לך לתאר כל נקודה באמצעות מספר קטן בלבד של אותם כיוונים, במקום כל התכונות המקוריות. זהו הכלי הסטנדרטי לצמצום מימדים, ומתחת לפני השטח הוא אינו אלא SVD המיושם על הנתונים שלך.

המתכון קצר. מרכז את הנתונים (חסר את הממוצע כדי שהענן ישכון בראשית), חשב את ה־SVD של מטריצת הנתונים, וקרא את התשובות: הרכיבים העיקריים הם הוקטורים הסינגולריים העליונים, והשונות של כל רכיב היא הערך הסינגולרי שלו בריבוע (חלקי n−1).

דמיין ענן נקודות מתוח ומוטה. הרכיב העיקרי הראשון הוא הציר הארוך של הענן, הכיוון היחיד שתופס את השונות הרבה ביותר. השני מאונך לו, ותופס את החלק הגדול ביותר ממה שנותר, וכן הלאה. הטל על הראשונים, ותשמור על הצורה תוך ויתור על מימדים.