Indipendenza

La matematica dell'incertezza

Due eventi sono indipendenti quando conoscere l'uno non dice nulla sull'altro. Sapere che la prima moneta è uscita testa non modifica le probabilità della seconda. Formalmente, l'indipendenza significa che la probabilità condizionata coincide con quella semplice, P(A|B) = P(A), e questo si riscrive in un test pulito:

Quindi, per eventi indipendenti, la probabilità che accadano entrambi è semplicemente il prodotto. Ecco perché ottenere testa in tutti gli n lanci di una moneta equa ha probabilità (1/2)ⁿ: i lanci non si influenzano a vicenda.

Una moneta equa non ha memoria: dopo cinque teste di fila, il lancio successivo è ancora un pari 50/50, perché la moneta non può ricordare cosa ha appena fatto. Quell'"assenza di memoria" è esattamente l'indipendenza, dove la probabilità di entrambi i lanci insieme è il prodotto P(A ∩ B) = P(A) · P(B). È anche il motivo per cui una serie di n teste ha probabilità (1/2)ⁿ.

Dove si trova nel MLQuando addestri su un dataset etichettato, quasi sempre assumi che gli esempi siano i.i.d., indipendenti e identicamente distribuiti. Quell'assunzione permette a una likelihood congiunta sul dataset di fattorizzarsi in un prodotto P(data) = Π P(xᵢ), che diventa una somma di termini log (la loss). I classificatori Naive Bayes vanno oltre e assumono che le feature siano condizionatamente…
▶ Indipendenza
← Teorema di BayesVariabili Aleatorie →