ריבועים פחותים — אלגברה לינארית

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

כאשר ל־Ax = b אין פתרון מדויק (המקרה הרגיל, כשיש יותר נתונים מפרמטרים), עושים את הדבר הטוב הבא: מוצאים את ה־x שהופך את Ax לקרוב ככל האפשר ל־b. "קרוב" פירושו שגיאה ריבועית מינימלית. זוהי שיטת הריבועים הפחותים, השיטה שעומדת בבסיס הרגרסיה הרגילה.

הגאומטריה היא כל הסיפור. הפלטים הניתנים להשגה Ax מרכיבים את מרחב העמודות של A, מישור היושב בתוך מרחב ממימד גבוה יותר. היעד b מרחף בדרך כלל מחוץ לאותו מישור. הנקודה הקרובה ביותר שניתן להשיג היא ההטלה האורתוגונלית של b על המישור: הורד אנך מ־b ישר כלפי מטה, והמקום שבו הוא נוחת הוא Ax.

באיור, הזז את b אל מחוץ לקו וצפה בהטלה (ההתאמה הטובה ביותר) מחליקה לאורכו כדי להישאר ישירות מתחתיו, כשהשגיאה מאונכת תמיד.

איפה זה ב־MLרגרסיה לינארית היא ריבועים פחותים. הפתרון בצורה סגורה β = (XᵀX)⁻¹Xᵀy הוא המשוואות הנורמליות הפתורות עבור המקדמים. אותו רעיון הטלה מגדיר את הפסאודו־הופכית A⁺, הכלי האוניברסלי ל"פתור את Ax = b כמיטב האפשר". כל פונקציית הפסד של שגיאה ריבועית ב־ML מתחקה בחזרה לתמונה הזו של הטלה על מה שהמודל יכול להגיע אליו.