Ax = b: גאומטריה — אלגברה לינארית

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

המשוואה Ax = b היא החישוב המרכזי של אלגברה לינארית: בהינתן טרנספורמציה A ויעד b, איזה קלט x נוחת על היעד? קרא את זה כגאומטריה ואופי התשובה נהיה גלוי לפני שמחשבים כלום.

יש שתי דרכים לדמיין את זה. תמונת השורות: כל משוואה היא קו (ב־2D) או מישור (ב־3D), והפתרון הוא איפה שכולן נחתכות. תמונת העמודות: b חייב להיות צירוף לינארי של עמודות A, ו־x מחזיק את משקלי הצירוף.

מבחינה גאומטרית יש בדיוק שלושה מקרים. הקווים נחתכים בנקודה אחת (פתרון יחיד); הם מקבילים ושונים (אין פתרון, היעדים לעולם לא נפגשים); או שהם אותו קו (אינסוף פתרונות). גרור את הקווים באיור דרך כל השלושה.

איפה זה ב־MLמערכות ML אמיתיות הן בדרך כלל מערכות יתר: יש בהן הרבה יותר משוואות (נקודות נתונים) מאשר משתנים (פרמטרים), ולכן Ax = b מדויק כמעט לעולם אינו פתיר. זו כל הסיבה לקיומה של שיטת הריבועים הפחותים (שיעור מאוחר יותר). כשאי אפשר לפגוע ב־b במדויק, מוצאים את ה־x שמתקרב הכי הרבה. רגרסיה לינארית היא בדיוק המצב הזה: "אין פתרון מדויק, אז ממזערים את שגיאת הפספוס".