最尤推定

データからの推論、推定、意思決定

パラメータθの単一の値を選ばなければならないなら、最も自然なルールはこれです：実際に観測したデータを最もありそうにするθを選ぶ。それが最尤推定（MLE）で、MLのほぼすべてのモデルの訓練の背後にある原理です。

独立と仮定したデータx₁, …, xₙが与えられ、標本全体の確率は点ごとの確率の積です。θの関数として、この積が尤度です：

多くの小さな確率を掛けるとアンダーフローしてゼロになり、微分しにくい。修正はlogを取ることです：積のlogは和で、logは単調増加なので最大化するものを動かさない。対数尤度を最大化する：