מטריצות סימטריות — אלגברה לינארית

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

מטריצות סימטריות (A = Aᵀ) מתנהגות באופן טוב במיוחד, ובמקרה הן גם אלה שמופיעות הכי הרבה ב־ML. מטריצות שונות משותפת (קווריאנס), הסיאנים ומטריצות גראם — כולן סימטריות. הן מגיעות עם ערובה נקייה דיה כדי שתזכה לשם משלה.

המשפט הספקטרלי: לכל מטריצה סימטרית ממשית יש ערכים עצמיים ממשיים ואוסף מלא של וקטורים עצמיים אורתוגונליים. אין מספרים מרוכבים, אין מקרים פגומים, וכיווני הוקטורים העצמיים נפגשים בזוויות ישרות מושלמות. תמיד אפשר לאלכסן אותה באמצעות מטריצה אורתוגונלית.

מכיוון ש־Q אורתוגונלית, מתקיים Q⁻¹ = Qᵀ, ולכן הפירוק בנוי מסיבוב, מתיחה והסיבוב ההפוך. הוקטורים העצמיים מעניקים לך מערכת קואורדינטות אורתונורמלית מושלמת, ללא כל מאמץ.

איפה זה ב־MLההסיאן של פונקציית הפסד הוא סימטרי (הנגזרות החלקיות המעורבות מתחלפות), ולכן הערכים העצמיים שלו ממשיים ומספרים לך מהי העקמומיות בכל כיוון: כולם חיוביים ⇐ מינימום מקומי (קערה), סימנים מעורבים ⇐ אוכף. מטריצות שונות משותפת הן סימטריות ומוגדרות חיוביות למחצה, וזו בדיוק הסיבה שפירוק הערכים העצמיים ב־PCA תמיד מניב כיוונים עיקריים ממשיים ואורתוגונליים עם שונויות אי־שליליות.