ベイズ推定

データからの推論、推定、意思決定

MLEは「どの単一のθがデータを最もよく説明するか？」を問う。ベイズ推定はより豊かな問いを問う：「データが与えられた下で、θについての完全な信念は何か？」1つの数の代わりに、分布全体が得られ、事前に知っていたものを折り込める。

3つの構成要素です。事前p(θ)はデータを見る前の信念です。尤度p(x|θ)は各θがデータをどれだけよく説明するか（MLEと同じオブジェクト）です。ベイズの規則がそれらを事後p(θ|x)に結合する：

こう読む：事後信念 = θがデータをどれだけよく説明するか、元々θがどれだけもっともらしかで重み付け。データが多いほど尤度が支配的になり事前を洗い流す。