Inférence, estimation et prise de décision à partir des données
La régression linéaire simple est le pont des statistiques au machine learning : c'est le modèle le plus simple qui prédit. Vous supposez que la relation entre une entrée x et une sortie y est une droite plus du bruit aléatoire, et vous trouvez la droite qui s'ajuste le mieux.
β₀ est l'ordonnée à l'origine, β₁ la pente, et ε le bruit. « Mieux s'ajuste » signifie la droite qui minimise le total des résidus au carré (les écarts verticaux entre points et droite), la méthode des moindres carrés ordinaires (OLS).
Faites glisser la pente et l'ordonnée à l'origine dans la figure et observez la somme des erreurs au carré (SSE) changer. La droite OLS est l'unique qui ramène la longueur quadratique totale des bâtons résiduels corail à son minimum.