Independência

A matemática da incerteza

Dois eventos são independentes quando conhecer um não diz nada sobre o outro. Saber que a primeira moeda deu cara não altera as hipóteses da segunda. Formalmente, independência significa que a probabilidade condicional é igual à simples, P(A|B) = P(A), o que se reorganiza num teste enxuto:

Assim, para eventos independentes, a probabilidade de que ambos aconteçam é simplesmente o produto. É por isso que n lançamentos de uma moeda equilibrada, todos a darem cara, têm probabilidade (1/2)ⁿ: os lançamentos não conversam entre si.

Uma moeda justa não tem memória: após cinco caras seguidas, o próximo lançamento continua a ser uns equilibrados 50/50, porque a moeda não se consegue lembrar do que acabou de fazer. Essa "falta de memória" é exatamente a independência, onde a probabilidade de ambos os lançamentos juntos é o produto P(A ∩ B) = P(A) · P(B). É também por isso que uma sequência de n caras tem probabilidade (1/2)ⁿ.

Onde isto aparece no MLQuando treinas num conjunto de dados rotulado, quase sempre supões que os exemplos são i.i.d., independentes e identicamente distribuídos. Essa suposição permite que uma verosimilhança conjunta sobre o conjunto de dados se fatorize num produto P(data) = Π P(xᵢ), que se torna uma soma de termos logarítmicos (a loss). Os classificadores Naive Bayes vão mais longe e supõem que os atributos são…
▶ Independência
← Teorema de BayesVariáveis Aleatórias →