Inferenz, Schätzung und Entscheidungsfindung aus Daten
Einfache lineare Regression ist der Brückenschlag von der Statistik zum maschinellen Lernen: Sie ist das einfachste Modell, das Vorhersagen trifft. Du nimmst an, dass die Beziehung zwischen einer Eingabe x und einer Ausgabe y eine Gerade plus zufälliges Rauschen ist, und suchst die am besten passende Gerade.
β₀ ist der Achsenabschnitt, β₁ die Steigung und ε das Rauschen. "Beste Anpassung" meint die Gerade, die die Summe der quadrierten Residuen (die vertikalen Abstände zwischen Punkten und Gerade) minimiert – die Methode der kleinsten Quadrate (OLS).
Ziehe in der Grafik an Achsenabschnitt und Steigung und beobachte, wie sich die Summe der quadrierten Fehler (SSE) verändert. Die OLS-Gerade ist die eindeutige Gerade, die die gesamte quadrierte Länge der korallenfarbenen Residuenstäbe auf ihr Minimum bringt.