Suy luận, ước tính và ra quyết định từ dữ liệu
Dự đoán thực tế dùng nhiều đầu vào chứ không chỉ một. Hồi quy tuyến tính bội tổng quát đường thẳng thành mặt phẳng (hoặc siêu phẳng) ở các chiều cao hơn: mỗi đặc trưng có hệ số riêng. Xếp toàn bộ dữ liệu vào một ma trận X, mô hình trở nên rất gọn:
Ở đây X là ma trận thiết kế kích thước n×d (một hàng cho mỗi quan sát, một cột cho mỗi đặc trưng), β là vectơ hệ số và y là đầu ra. Nghiệm OLS có dạng tường minh nổi tiếng:
Khía cạnh hình học rất đáng hình dung. Vectơ dự đoán Xβ̂ phải nằm trong không gian cột của X, tức tập hợp mọi tổ hợp tuyến tính của các cột đặc trưng. OLS chọn β̂ sao cho dự đoán là điểm trong không gian đó gần nhất với y. Về mặt hình học, ŷ là hình chiếu trực giao của y lên không gian cột, và phần dư y − ŷ vuông góc với không gian đó. Chính tính trực giao ấy là điều mà (XᵀX)⁻¹Xᵀ tính ra.