Geometria e algebra di applicazioni lineari, vettori e matrici
Quando Ax = b non ha soluzione esatta (il caso usuale con più dati che parametri), fai la cosa migliore possibile: trova la x che rende Ax il più vicino possibile a b. "Vicino" significa errore quadratico minimo. Questa è i minimi quadrati, il metodo dietro la regressione ordinaria.
La geometria è tutta la storia. Gli output raggiungibili Ax formano lo spazio delle colonne di A, un piano immerso in uno spazio di dimensione superiore. Il bersaglio b di solito galleggia fuori da quel piano. Il punto raggiungibile più vicino è la proiezione ortogonale di b sul piano: lascia cadere una perpendicolare da b dritto in giù, e dove atterra è Ax.
Nella figura, sposta b fuori dalla retta e guarda la proiezione (il miglior adattamento) scorrere lungo per restare direttamente sotto, con l'errore sempre perpendicolare.