Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices
Wanneer Ax = b geen exacte oplossing heeft (het gebruikelijke geval bij meer data dan parameters), doe je het op één na beste: vind de x die Ax zo dicht mogelijk bij b brengt. "Dichtbij" betekent de kleinste gekwadrateerde fout. Dit is de kleinste-kwadratenmethode, de basis onder gewone regressie.
De meetkunde is het hele verhaal. De bereikbare uitvoeren Ax vormen de kolomruimte van A, een vlak dat zich in een hoger-dimensionale ruimte bevindt. Het doel b zweeft meestal buiten dat vlak. Het dichtstbijzijnde bereikbare punt is de orthogonale projectie van b op het vlak: laat een loodlijn van b recht naar beneden vallen, en waar die landt, is Ax.
Verplaats in de figuur b van de lijn af en kijk hoe de projectie (de beste fit) meeschuift om er recht onder te blijven, met de fout altijd loodrecht.