Inférence, estimation et prise de décision à partir des données
Il y a deux façons fondamentalement différentes de construire un classifieur, et la division traverse tout le machine learning. Un modèle discriminatif apprend la frontière entre les classes directement. Un modèle génératif apprend comment chaque classe génère ses données, et dérive la frontière comme sous-produit.
Formellement : un modèle discriminatif estime la conditionnelle p(y|x) directement, répondant à « sachant ces features, quel label ? » Un modèle génératif estime la jointe p(x, y) (souvent via p(x|y) et p(y)), puis utilise la règle de Bayes pour obtenir p(y|x).
Pensez à deux étudiants en art. L'un apprend à peindre un chat à partir de zéro, maîtrisant comment la fourrure, les moustaches et les oreilles s'assemblent : c'est un modèle génératif, apprenant comment chaque classe produit ses données. L'autre ne peint jamais rien mais devient brillant pour repérer un chat par rapport à un chien sur n'importe quelle photo : c'est un modèle discriminatif, n'apprenant que la frontière entre les classes. Le peintre peut créer de nouveaux chats ; l'observateur trace juste la ligne, et est souvent plus précis pour cela.