Wnioskowanie, estymacja i podejmowanie decyzji z danych
Prosta regresja liniowa stanowi doskonały pomost pomiędzy klasyczną statystyką a uczeniem maszynowym: to absolutnie najprostszy z modeli, który służy do przewidywania (predykcji). Zakładasz w nim po prostu, że relacja między daną wejściową x a wyjściową y przybiera postać prostej (z niewielkim dodatkiem losowego szumu), a twoim zadaniem jest znalezienie tej najlepiej dopasowanej.
β₀ to wyraz wolny, β₁ to nachylenie prostej, a ε oznacza szum. W tym kontekście „najlepiej dopasowana” oznacza prostą, która w pełni minimalizuje sumę kwadratów reszt (czyli wielkość pionowych odstępów między punktami a samą prostą). Podejście to znane jest jako metoda zwykłych najmniejszych kwadratów (OLS - Ordinary Least Squares).
Dostosuj wartość nachylenia i wyrazu wolnego na rysunku i zaobserwuj, w jaki sposób zmienia się suma kwadratów błędów (SSE - Sum of Squared Errors). Prosta uzyskana z OLS jest jedyną słuszną prostą, sprowadzającą całkowitą długość „koralowych patyczków” będących naszymi resztami do absolutnego minimum.