Inferenza, stima e processo decisionale dai dati
La regressione lineare semplice è il ponte dalla statistica al machine learning: è il modello più semplice che predice. Assumi che la relazione tra un input x e un output y sia una retta più rumore casuale, e trovi la retta che si adatta meglio.
β₀ è l'intercetta, β₁ la pendenza ed ε il rumore. "Che si adatta meglio" indica la retta che minimizza i residui quadratici totali (gli scarti verticali tra punti e retta), il metodo dei minimi quadrati ordinari (OLS).
Trascina pendenza e intercetta nella figura e osserva come cambia la somma degli errori quadratici (SSE). La retta OLS è l'unica che porta al minimo la lunghezza quadratica totale dei segmenti di residuo color corallo.