Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen
Wenn Ax = b keine exakte Lösung hat (der übliche Fall bei mehr Daten als Parametern), tut man das Nächstbeste: Man sucht das x, das Ax so nah an b wie möglich bringt. "Nah" bedeutet kleinster quadratischer Fehler. Das ist die Methode der kleinsten Quadrate, die der gewöhnlichen Regression zugrunde liegt.
Die Geometrie ist die ganze Geschichte. Die erreichbaren Ausgaben Ax bilden den Spaltenraum von A, eine Ebene, die in einem höherdimensionalen Raum liegt. Das Ziel b schwebt meist außerhalb dieser Ebene. Der nächste erreichbare Punkt ist die orthogonale Projektion von b auf die Ebene: Fälle von b ein Lot senkrecht nach unten, und wo es auftrifft, ist Ax.
Bewege in der Abbildung b von der Linie weg und beobachte, wie die Projektion (die beste Anpassung) mitwandert und stets direkt darunter bleibt, während der Fehler immer senkrecht steht.