Independencia

Las matemáticas de la incertidumbre

Dos eventos son independientes cuando saber uno no te dice nada sobre el otro. Saber que la primera moneda cayó cara no cambia las probabilidades de la segunda. Formalmente, la independencia significa que la probabilidad condicional es igual a la simple, P(A|B) = P(A), lo cual se reorganiza en una prueba clara:

Así, para eventos independientes, la probabilidad de que ambos ocurran es simplemente el producto. Esto es por qué nlanzar monedas justas todas cayendo cara tiene una probabilidad de (1/2)ⁿ: los lanzamientos no se comunican entre sí.

Una moneda justa no tiene memoria: después de cinco caras seguidas, el siguiente lanzamiento sigue siendo un 50/50 igualado, porque la moneda no puede recordar lo que acaba de hacer. Ese "sin memoria" es exactamente la independencia, donde la probabilidad de ambos lanzamientos juntos es el producto P(A ∩ B) = P(A) · P(B). También es la razón por la que una racha de n caras conlleva una probabilidad de (1/2)ⁿ.

Dónde aparece en el MLCuando entrenas con un conjunto de datos etiquetado, casi siempre asumes que las muestras son i.i.d., independientes e idénticamente distribuidas. Esa suposición permite que la probabilidad conjunta sobre el conjunto de datos se factorice en un producto P(data) = Π P(xᵢ), lo cual se convierte en una suma de términos logarítmicos (la pérdida). Los clasificadores Naive Bayes van más allá y asumen…
▶ Independencia
← Teorema de BayesVariables Aleatorias →