Suy luận, ước tính và ra quyết định từ dữ liệu
Hồi quy tuyến tính đơn là cầu nối từ thống kê sang học máy: đây là mô hình dự đoán đơn giản nhất. Bạn giả sử mối quan hệ giữa đầu vào x và đầu ra y là một đường thẳng cộng với nhiễu ngẫu nhiên, rồi tìm đường thẳng khớp nhất.
β₀ là hệ số chặn, β₁ là độ dốc và ε là nhiễu. "Khớp nhất" nghĩa là đường thẳng cực tiểu hóa tổng bình phương phần dư (khoảng cách dọc giữa các điểm và đường thẳng), tức phương pháp bình phương tối thiểu thông thường (OLS).
Hãy kéo độ dốc và hệ số chặn trong hình và xem tổng sai số bình phương (SSE) thay đổi. Đường OLS là đường duy nhất đưa tổng độ dài bình phương của các phần dư về mức tối thiểu.