רגרסיה לינארית פשוטה — סטטיסטיקה

רגרסיה לינארית פשוטה היא הגשר מסטטיסטיקה אל למידת מכונה: זהו המודל הפשוט ביותר שחוזה. מניחים שהקשר בין קלט x לפלט y הוא קו ישר בתוספת רעש אקראי, ומחפשים את הקו המתאים ביותר.

β₀ הוא החותך, β₁ הוא השיפוע, ו־ε הוא הרעש. "המתאים ביותר" פירושו הקו שממזער את סכום השאריות הריבועיות (הפערים האנכיים בין הנקודות לקו) — שיטת הריבועים הפחותים הרגילה (OLS).

גרור את השיפוע ואת החותך באיור וצפה בסכום השגיאות הריבועיות (SSE) משתנה. קו ה־OLS הוא היחיד שמוריד למינימום את סכום הריבועים של אורכי קטעי השארית.

איפה זה ב־MLרגרסיה לינארית היא קו הבסיס שכל פרויקט ML צריך לעלות עליו לפני שפונים למשהו מתוחכם יותר. פונקציית המטרה שלה, השגיאה הריבועית, היא הפסד הרגרסיה (MSE) שתמזער שוב ושוב, ו(כפי שראית ב־MLE) היא בדיוק הנראוּת המרבית תחת רעש גאוסיאני. הבן את הקו הזה והבנת את השלד של כל מודל מפוקח.