Inferência, estimação e tomada de decisão a partir de dados
Há duas formas fundamentalmente distintas de construir um classificador, e essa divisão atravessa todo o machine learning. Um modelo discriminativo aprende diretamente a fronteira entre classes. Um modelo generativo aprende como cada classe gera os seus dados e deriva a fronteira como subproduto.
Formalmente: um modelo discriminativo estima diretamente a condicional p(y|x), respondendo a "dadas estas variáveis, qual o rótulo?". Um modelo generativo estima a conjunta p(x, y) (muitas vezes através de p(x|y) e p(y)) e usa depois a regra de Bayes para obter p(y|x).
Pense em dois estudantes de arte. Um aprende a pintar um gato do zero, dominando a forma como o pelo, os bigodes e as orelhas se juntam: isso é um modelo gerador, que aprende como cada classe produz os seus dados. O outro nunca pinta nada, mas torna-se brilhante a identificar um gato versus um cão em qualquer fotografia: isso é um modelo discriminativo, que aprende apenas a fronteira entre classes. O pintor pode criar novos gatos; o identificador apenas traça a linha, e muitas vezes é mais perspicaz nisso.