Rozkłady brzegowe

Matematyka niepewności

Mając rozkład łączny p(x, y), wyobraź sobie sytuację, w której interesuje cię wyłącznie zmienna X i pragniesz całkowicie zignorować Y. Wykorzystujesz do tego marginalizację: polega to na zsumowaniu (lub wycałkowaniu) łącznego prawdopodobieństwa po wszystkich możliwych wartościach tej niechcianej zmiennej. Pozostaje sam odzyskany rozkład brzegowy dla zmiennej X.

Nazwa wywodzi się ze starych tabel prawdopodobieństwa: po zsumowaniu całego wiersza wynik zapisywano na fizycznym marginesie. Sumy wierszy to rozkład brzegowy jednej zmiennej, a sumy kolumn to rozkład brzegowy drugiej. Mówiąc prościej, marginalizacja to wycałkowanie (usunięcie) zmiennej, której w danej chwili nie potrzebujemy.

Weź tę dwuwymiarową tabelę wzrostu-wagi i załóż, że obchodzi cię tylko wzrost, całkowicie ignorując wagę. Po prostu sumujesz każdy wiersz rozkładu łącznego p(x, y) i notujesz sumę na marginesie — suma wiersza mówi, jak często występuje dany wzrost, niezależnie od wagi. Odczytanie tylko tych sum z marginesu daje rozkład brzegowy dla X, czyli dla jednej zmiennej rozpatrywanej oddzielnie.

Gdzie to występuje w MLMarginalizacja zmiennych ukrytych (latentnych) to centralne obliczenie, a zarazem największe wyzwanie w modelowaniu generatywnym. Wiarygodność danych opisywana jest jako p(x) = ∫ p(x, z) dz = ∫ p(x | z) p(z) dz, co wymaga całkowania po każdym możliwym stanie zmiennej ukrytej z. Całka ta jest na ogół niemożliwa do dokładnego wyliczenia, i to właśnie dlatego sieci VAE optymalizują obliczalne dolne…
▶ Rozkłady brzegowe
← Rozkłady łączneRozkłady warunkowe →