Geometría y álgebra de aplicaciones lineales, vectores y matrices
Cuando Ax = b no tiene solución exacta (el caso usual con más datos que parámetros), haces lo mejor posible: encuentras el x que hace que Ax sea tan cercano a b como sea posible. "Cercano" significa error cuadrado mínimo. Esto es mínimos cuadrados, el método subyacente de la regresión ordinaria.
La geometría es toda la historia. Las salidas alcanzables Ax forman el espacio columna de A, un plano situado dentro de un espacio dimensional más alto. El objetivo b generalmente flota fuera de ese plano. El punto más cercano alcanzable es la proyección ortogonal de b sobre el plano: baja una perpendicular desde b directamente hacia abajo, y donde aterriza es Ax.
En la figura, mueve b fuera de la línea y observa la proyección (el mejor ajuste) deslizarse para quedarse directamente debajo de él, con el error siempre perpendicular.