Independência

A matemática da incerteza

Dois eventos são independentes quando conhecer um não diz nada sobre o outro. Saber que a primeira moeda deu cara não altera as chances da segunda. Formalmente, independência significa que a probabilidade condicional é igual à simples, P(A|B) = P(A), o que se reorganiza num teste enxuto:

Assim, para eventos independentes, a probabilidade de que ambos aconteçam é simplesmente o produto. É por isso que n lançamentos de uma moeda justa, todos dando cara, têm probabilidade (1/2)ⁿ: os lançamentos não conversam entre si.

Uma moeda justa não tem memória: após cinco caras seguidas, o próximo lançamento ainda é um 50/50 equilibrado, porque a moeda não consegue se lembrar do que acabou de fazer. Essa "falta de memória" é exatamente independência, onde a chance de ambos os lançamentos juntos é o produto P(A ∩ B) = P(A) · P(B). É também o motivo pelo qual uma sequência de n caras carrega probabilidade (1/2)ⁿ.

Onde isso aparece no MLQuando você treina num conjunto de dados rotulado, quase sempre supõe que os exemplos são i.i.d., independentes e identicamente distribuídos. Essa suposição permite que uma verossimilhança conjunta sobre o conjunto de dados se fatore num produto P(data) = Π P(xᵢ), que se torna uma soma de termos logarítmicos (a loss). Os classificadores Naive Bayes vão além e supõem que os atributos são…
▶ Independência
← Teorema de BayesVariáveis Aleatórias →