Géométrie et algèbre des applications linéaires, vecteurs et matrices
Quand Ax = b n'a pas de solution exacte (le cas habituel avec plus de données que de paramètres), vous faites la meilleure chose suivante : trouvez le x qui rend Ax aussi proche de b que possible. « Proche » signifie la plus petite erreur quadratique. Ce sont les moindres carrés, la méthode sous la régression ordinaire.
La géométrie est toute l'histoire. Les sorties atteignables Ax forment l'espace colonne de A, un plan dans un espace de dimension supérieure. La cible b flotte habituellement hors de ce plan. Le point atteignable le plus proche est la projection orthogonale de b sur le plan : laissez tomber une perpendiculaire de b droit vers le bas, et où elle atterrit est Ax.
Dans la figure, déplacez b hors de la droite et observez la projection (le meilleur ajustement) glisser le long pour rester directement en dessous, avec l'erreur toujours perpendiculaire.