Geometria e álgebra de aplicações lineares, vetores e matrizes
Quando Ax = b não tem solução exata (o caso usual com mais dados que parâmetros), você faz a próxima melhor coisa: encontre o x que faz Ax o mais próximo possível de b. "Próximo" significa menor erro quadrático. Este é mínimos quadrados, o método por baixo da regressão ordinária.
A geometria é toda a história. As saídas alcançáveis Ax formam o espaço coluna de A, um plano dentro de um espaço de dimensão superior. O alvo b usualmente flutua fora daquele plano. O ponto alcançável mais próximo é a projeção ortogonal de b sobre o plano: solte uma perpendicular de b reto para baixo, e onde pousa é Ax.
Na figura, mova b para fora da reta e observe a projeção (o melhor ajuste) deslizar ao longo para ficar diretamente abaixo dele, com o erro sempre perpendicular.