Inferensi, estimasi, dan pengambilan keputusan dari data
Ada dua cara fundamental berbeda membangun klasifier, dan perpecahan menembus seluruh machine learning. Model diskriminatif belajar batas antar kelas langsung. Model generatif belajar bagaimana setiap kelas menghasilkan datanya, dan menurunkan batas sebagai produk sampingan.
Secara formal: model diskriminatif mengestimasi kondisional p(y|x) langsung, menjawab "diberikan fitur ini, label mana?" Model generatif mengestimasi gabungan p(x, y) (sering via p(x|y) dan p(y)), lalu gunakan aturan Bayes untuk dapat p(y|x).
Pikirkan tentang dua mahasiswa seni. Satu orang belajar untuk melukis kucing dari awal, menguasai bagaimana bulu, kumis, dan telinga bersatu padu: itu adalah model generatif, mempelajari bagaimana setiap kelas menghasilkan datanya. Yang lain tidak pernah melukis apa pun melainkan menjadi sangat brilian di dalam mendeteksi seekor kucing versus seekor anjing dalam potret mana pun: itu adalah model diskriminatif, mempelajari hanya batas pemisah di antara kelas-kelas. Pelukis dapat menciptakan kucing-kucing baru; sang pendeteksi sekadar menarik batas pemisah, dan kerap kali lebih tajam pada hal itu.