最小二乗法

線形写像、ベクトル、行列の幾何学と代数

Ax = bが厳密解を持たないとき（パラメータよりデータが多い通常のケース）、次善の策をとる：Axをbにできるだけ近づけるxを見つける。「近い」は2乗誤差が最小を意味する。これが最小二乗法で、通常の回帰の背後にある方法です。

幾何がすべて。到達可能な出力AxはAの列空間をなし、高次元空間内の平面です。ターゲットbは通常その平面から外に浮かぶ。最も近い到達可能点はbの平面への直交射影です：bからまっすぐ下に垂線を下ろし、その着地点がAxです。

図でbを直線から外し、射影（最良フィット）が常にその真下に留まるように直線に沿ってスライドし、誤差が常に垂直である様子を見てください。