Geometria i algebra odwzorowań liniowych, wektorów i macierzy
Gdy równanie Ax = b nie posiada ścisłego rozwiązania (co ma miejsce z reguły, gdy analizujemy więcej danych niż mamy dostępnych parametrów do trenowania), robisz drugą najlepszą rzecz: dobierasz takie x, dla którego wektor wyjściowy Ax leży jak najbliżej wektora docelowego b. Ów "bliżej" określane jest zazwyczaj przez minimalny błąd średniokwadratowy. To esencja metody najmniejszych kwadratów (least squares), fundamentu operacyjnego zwykłej regresji liniowej.
Wszystko sprowadza się do geometrii. Osiągalne wektory wynikowe Ax tworzą przestrzeń kolumnową macierzy A — płaszczyznę zanurzoną w przestrzeni o większym wymiarze. Wektor docelowy b zazwyczaj celuje i lewituje gdzieś zupełnie poza nią. Najbliższym fizycznie doń punktem na samej płaszczyźnie, do jakiego z założenia da się na niej dotrzeć, jest rzut ortogonalny punktu b w dół na ową płaszczyznę: upuść idealną prostopadłą pionowo z punktu b, a rzut, jaki odciśnie się na płaszczyźnie wyznaczy z miejsca pożądane przez ciebie optymalne Ax.
Na poniższym rysunku przeciągnij punkt b poza prostą i obserwuj, jak wektor rzutu (czyli punkt najlepszego dopasowania) posłusznie wędruje wzdłuż niej, pozostając zawsze dokładnie pionowo pod nim, z wektorem odchylenia (błędu) mierzącym pionowo - ortogonalnie względem niej.