Geometri dan aljabar pemetaan linear, vektor, dan matriks
Ketika Ax = b tidak punya solusi persis (kasus biasa saat data lebih banyak daripada parameter), kamu melakukan hal terbaik berikutnya: mencari x yang membuat Ax sedekat mungkin dengan b. "Dekat" berarti galat kuadrat terkecil. Inilah least squares, metode di bawah regresi biasa.
Geometrinya adalah seluruh cerita. Output yang dapat dicapai Ax membentuk column space dari A, sebuah bidang yang duduk di dalam ruang berdimensi lebih tinggi. Target b biasanya melayang di luar bidang itu. Titik tercapai terdekat adalah proyeksi ortogonal dari b ke bidang: jatuhkan garis tegak lurus dari b lurus ke bawah, dan tempat ia mendarat adalah Ax.
Pada gambar, pindahkan b keluar dari garis dan lihat proyeksi (fit terbaik) bergeser sepanjang garis agar tetap tepat di bawahnya, dengan galat selalu tegak lurus.