Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận
Khi Ax = b không có nghiệm chính xác (trường hợp thường gặp khi dữ liệu nhiều hơn tham số), bạn làm điều tốt nhất có thể: tìm x sao cho Ax gần b nhất có thể. "Gần" ở đây nghĩa là sai số bình phương nhỏ nhất. Đây chính là bình phương tối thiểu, phương pháp nằm dưới hồi quy tuyến tính.
Hình học là toàn bộ câu chuyện. Các đầu ra khả dĩ Ax tạo thành không gian cột của A, một mặt phẳng nằm bên trong một không gian nhiều chiều hơn. Mục tiêu b thường nằm ngoài mặt phẳng đó. Điểm khả dĩ gần nhất là hình chiếu trực giao của b lên mặt phẳng: hạ đường vuông góc từ b thẳng xuống, và nơi nó chạm mặt phẳng chính là Ax.
Trong hình, hãy dời b ra khỏi đường thẳng và xem hình chiếu (điểm khớp tốt nhất) trượt dọc theo để nằm ngay bên dưới nó, với vectơ sai số luôn vuông góc.