Suy luận, ước tính và ra quyết định từ dữ liệu
OLS tìm các hệ số khớp nhất với dữ liệu huấn luyện, và đó chính là vấn đề khi bạn có nhiều đặc trưng hoặc ít dữ liệu: nó khớp cả nhiễu và các hệ số nhảy sang những giá trị hoang dã. Hồi quy chính quy hóa khắc phục điều này bằng cách thêm một số hạng phạt nhằm trừng phạt các hệ số lớn, đánh đổi một chút độ khớp huấn luyện để có khả năng tổng quát hóa tốt hơn nhiều.
Hồi quy Ridge thêm số hạng phạt L2, tức bình phương độ dài của vectơ hệ số:
Núm xoay λ điều khiển cường độ. λ = 0 là OLS thuần túy; khi λ tăng, mọi hệ số đều co về 0, làm mô hình mượt hơn. Sự co này cũng khắc phục tình trạng (XᵀX)⁻¹ điều kiện kém ở bài học trước: Ridge thêm λI, đảm bảo tính khả nghịch.