一般的な分布のMLE

データからの推論、推定、意思決定

MLEの手順は常に同じです:対数尤度を書き、パラメータについて微分し、ゼロと置き、解く。最もよく出会う2つの分布について、答えは美しくシンプルです:ただの標本平均です。

正規分布から引いたデータについて、対数尤度を最大化すると最も直感的な推定量が得られる:

コインがどれくらい偏っているかを推測するために、曲がったコインを何回も投げることを想像してください。最尤推定はこれについて悩んだりしません。表が出る確率の最も良い単一の推測は、単に実際に見た表の割合です。推定値 p̂ は、集計が平均に変わったものにすぎず、同じ単純な標本平均 x̄ が姿を変えたものです。

機械学習における位置づけこれらの閉形式が最も単純なモデルのフィットが速い理由です。線形回帰はガウシアンノイズの下でのMLEで、ワンショットの閉形式解を持つ。ロジスティック回帰はベルヌーイ/カテゴリカルラベルのMLEで、閉形式はないが、同じ原理が勾配ステップを駆動する。「対数尤度 → 微分 → ゼロ」の手順がすべてのフィット手順の骨格です。
▶ 一般的な分布のMLE
← 最尤推定ベイズ推定 →