Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Chính quy hóa thường được giới thiệu như một số hạng phạt được thêm vào hàm mất mát. Về mặt hình học, nó thay đổi vectơ tham số nào được coi là rẻ hay đắt. Điều đó thay đổi hình dạng của bài toán tối ưu hóa. Hai ký hiệu xuất hiện lặp lại bên dưới: R(θ) đặt tên cho số hạng phạt, và λ (lambda) thiết lập mức độ nó được tính đến mạnh đến đâu.
Hai loại phạt phổ biến nhất hành xử khác nhau: L2 ngăn cản các trọng số lớn một cách mượt mà, trong khi L1 có những góc cạnh có thể đẩy một số trọng số về đúng bằng 0.
Việc đóng gói vali với giới hạn trọng lượng nghiêm ngặt có cùng hình dạng đó. Mọi món đồ đều có thể hữu ích, nhưng những món nặng tiêu tốn ngân sách nhanh chóng. Chính quy hóa khiến những lựa chọn tham số lớn tiêu tốn ngân sách, nên mô hình chỉ giữ chúng lại khi chúng đủ hữu ích. Hình bên cho thấy vì sao ngân sách đó đáng có: khi độ linh hoạt của mô hình tăng lên, sai số huấn luyện tiếp tục giảm trong khi sai số kiểm định cuối cùng lại quay đầu tăng lên. Chính quy hóa là núm điều khiển kiềm chế độ linh hoạt trước khi sự quay đầu đó xảy ra.