Inferentie, schatting en besluitvorming uit data
Enkelvoudige lineaire regressie is de brug van statistiek naar machinaal leren: het is het eenvoudigste model dat voorspelt. Je neemt aan dat de relatie tussen een invoer x en een uitvoer y een lijn plus willekeurige ruis is, en je zoekt de best passende lijn.
β₀ is het snijpunt, β₁ de helling, en ε de ruis. "Best passend" betekent de lijn die de totale gekwadrateerde residuen minimaliseert (de verticale kloven tussen punten en lijn), de methode van de kleinste kwadraten (OLS).
Sleep de helling en het snijpunt in de figuur en kijk hoe de som van gekwadrateerde fouten (SSE) verandert. De OLS-lijn is de unieke lijn die de totale gekwadrateerde lengte van de koraalkleurige residustaafjes naar haar minimum drijft.