Geometria e álgebra das aplicações lineares, vetores e matrizes
Quando Ax = b não tem solução exata (o caso habitual com mais dados do que parâmetros), fazes a melhor coisa a seguir: encontra o x que torna Ax o mais próximo possível de b. "Próximo" significa menor erro quadrático. Isto são os mínimos quadrados, o método por baixo da regressão ordinária.
A geometria é toda a história. As saídas alcançáveis Ax formam o espaço coluna de A, um plano dentro de um espaço de dimensão superior. O alvo b flutua habitualmente fora desse plano. O ponto alcançável mais próximo é a projeção ortogonal de b sobre o plano: larga uma perpendicular de b a direito para baixo, e onde pousa é Ax.
Na figura, move b para fora da reta e observa a projeção (o melhor ajuste) deslizar ao longo dela para ficar diretamente por baixo dele, com o erro sempre perpendicular.