Suy luận, ước tính và ra quyết định từ dữ liệu
Về cơ bản có hai cách khác nhau để xây một bộ phân loại, và sự phân chia này xuất hiện xuyên suốt toàn bộ học máy. Mô hình phân biệt (discriminative) học trực tiếp ranh giới giữa các lớp. Mô hình sinh (generative) học cách mỗi lớp tạo ra dữ liệu của nó, rồi suy ra ranh giới như một sản phẩm phụ.
Một cách hình thức: mô hình phân biệt ước lượng trực tiếp xác suất có điều kiện p(y|x), trả lời "với những đặc trưng này, nhãn nào?" Mô hình sinh ước lượng phân phối đồng thời p(x, y) (thường thông qua p(x|y) và p(y)), rồi dùng quy tắc Bayes để suy ra p(y|x).
Hãy nghĩ về hai sinh viên nghệ thuật. Người ta học vẽ một con mèo từ đầu, nắm vững cách kết hợp giữa lông, râu và tai: đó là mô hình sáng tạo, tìm hiểu cách mỗi lớp tạo ra dữ liệu của nó. Người kia không bao giờ vẽ bất cứ thứ gì nhưng trở nên xuất sắc khi phát hiện một con mèo và một con chó trong bất kỳ bức ảnh nào: đó là mô hình phân biệt đối xử, chỉ học được ranh giới giữa các lớp. Họa sĩ có thể tạo ra những con mèo mới; người chỉ điểm chỉ vẽ đường và thường sắc nét hơn ở đó.