Indépendance

Les mathématiques de l'incertitude

Deux événements sont indépendants quand en connaître un ne vous dit rien sur l'autre. Apprendre que la première pièce est tombée sur face ne change pas les chances pour la seconde. Formellement, l'indépendance signifie que la probabilité conditionnelle égale la probabilité simple, P(A|B) = P(A), ce qui se réarrange en un test net :

Donc pour des événements indépendants, la probabilité que les deux se produisent est juste le produit. C'est pourquoi n lancers de pièce équilibrée tombant tous sur face a une probabilité (1/2)ⁿ : les lancers ne se parlent pas.

Une pièce de monnaie équitable n'a pas de mémoire : après cinq faces de suite, le prochain lancer est toujours un équitable 50/50, car la pièce ne peut pas se souvenir de ce qu'elle vient de faire. Ce "sans mémoire" est exactement l'indépendance, où la chance des deux lancers ensemble est le produit P(A ∩ B) = P(A) · P(B). C'est aussi pourquoi une série de n faces porte la probabilité (1/2)ⁿ.

Où cela apparaît en MLQuand vous entraînez sur un jeu de données étiqueté, vous supposez presque toujours que les exemples sont i.i.d., indépendants et identiquement distribués. Cette hypothèse permet à une vraisemblance jointe sur le jeu de données de se factoriser en un produit P(data) = Π P(xᵢ), qui devient une somme de termes log (la loss). Les classifieurs Naive Bayes vont plus loin et supposent que les features…
▶ Indépendance
← Théorème de BayesVariables Aléatoires →