Teorema de Bayes

A matemática da incerteza

Muitas vezes conheces uma direção de uma condicional, mas queres a outra. Um teste médico informa P(positive | disease), mas o paciente quer saber P(disease | positive). O teorema de Bayes é a ponte que inverte uma probabilidade condicional.

Decorre diretamente da lição anterior. A regra da multiplicação dá P(A∩B) de duas maneiras: como P(A|B)P(B) e como P(B|A)P(A). Iguala as duas e divide por P(B). As três peças têm nomes que vais encontrar por toda a parte em ML: P(A) é o prior (a crença antes da evidência), P(B|A) é a verosimilhança (quão bem A explica a evidência) e P(A|B) é o posterior (a crença atualizada).

O denominador P(B) costuma calcular-se repartindo-o por todas as maneiras de B ocorrer, pela lei da probabilidade total:

Onde isto aparece no MLO teorema de Bayes é o motor do ML probabilístico. A inferência bayesiana atualiza um prior sobre os parâmetros num posterior, dados os dados: P(θ | data) ∝ P(data | θ)·P(θ). O treino por máxima verosimilhança é o caso especial em que o prior é plano, e acrescentar um prior é exatamente o que a regularização L2 faz (um prior gaussiano sobre os pesos). Todo o "posterior preditivo" de uma rede…
▶ Teorema de Bayes
← Probabilidade CondicionalIndependência →