Distribuzioni Marginali

La matematica dell'incertezza

Data una congiunta p(x, y), supponi che tu ti interessi solo di X e voglia dimenticare Y. Tu marginalizzi: sommi (o integri) la congiunta su tutti i valori della variabile indesiderata. Ciò che resta è la distribuzione marginale di X da solo.

Il nome viene dalle vecchie tabelle di probabilità: sommeresti ciascuna riga e scriveresti il totale nel margine. Quelle somme di riga sono il marginale di una variabile, e le somme di colonna sono il marginale dell'altra. Marginalizzare significa "integra fuori la variabile che non vuoi."

Prendi quella tabella a doppia entrata altezza–peso e supponi che ti importi solo dell'altezza, ignorando completamente il peso. Semplicemente sommi ogni riga della congiunta p(x, y) e annoti il totale a margine — quel totale di riga è quanto spesso si verifica ogni altezza a prescindere dal peso. Leggendo solo quei totali a margine ottieni la distribuzione marginale di X, l'unica variabile vista da sola.

Dove si trova nel MLMarginalizzare fuori le variabili latenti è sia il calcolo centrale che il mal di testa centrale della modellistica generativa. La likelihood dei dati è p(x) = ∫ p(x, z) dz = ∫ p(x | z) p(z) dz, un integrale su ogni possibile latente z. Quell'integrale è usualmente intrattabile, che è esattamente il motivo per cui le VAE ottimizzano un bound inferiore trattabile (l'ELBO) anziché calcolare il…
▶ Distribuzioni Marginali
← Distribuzioni CongiunteDistribuzioni Condizionali →