Wnioskowanie, estymacja i podejmowanie decyzji z danych
Z kolei MLE stawia pytanie: „która pojedyncza wartość θ najlepiej wyjaśnia dane?”. Estymacja bayesowska pyta o coś znacznie szerszego: „mając te dane, jakie jest moje całkowite przekonanie o θ?”. Zamiast jednej liczby otrzymujesz cały rozkład, dzięki czemu możesz uwzględnić to, co wiedziałeś już wcześniej.
Zwróć uwagę na trzy składniki. A priori (rozkład a priori) p(θ) to twoje przekonanie jeszcze przed zebraniem jakichkolwiek danych. Wiarygodność p(x|θ) określa, jak dobrze dane θ wyjaśnia zgromadzone obserwacje (to dokładnie ten sam obiekt, co w MLE). Z kolei reguła Bayesa łączy je w a posteriori (rozkład a posteriori) p(θ|x):
Odczytaj to w ten sposób: przekonanie a posteriori = to, jak dobrze θ wyjaśnia dane, zważone tym, na ile θ było wiarygodne na samym początku. Wraz z pojawieniem się większej ilości danych, wiarygodność zaczyna dominować, całkowicie marginalizując wyjściowe a priori.