Geometry and algebra of linear maps, vectors, and matrices
Ax = b denkleminin tam çözümü olmadığında (parametrelerden daha fazla verinin olduğu olağan durum), ikinci en iyi şeyi yaparsın: Ax'i b'ye mümkün olduğunca yakın kılan x'i bul. "Yakın", en küçük kareli hata demektir. Bu, sıradan regresyonun altındaki yöntem olan en küçük karelerdir.
Geometri hikâyenin tamamıdır. Ulaşılabilir çıktılar Ax, A'nın sütun uzayını oluşturur — daha yüksek boyutlu bir uzayın içinde duran bir düzlem. Hedef b genellikle o düzlemin dışında süzülür. En yakın ulaşılabilir nokta, b'nin düzleme dik izdüşümüdür: b'den dümdüz aşağıya bir dikme indir, ve indiği yer Ax'tir.
Şekilde, b'yi doğrunun dışına taşı ve izdüşümün (en iyi uyumun) hata her zaman dik kalacak biçimde, tam onun altında durmak için kayıp ilerlediğini izle.