EMアルゴリズム
データからの推論、推定、意思決定
時に最も重要な変数は決して観測しないものです。この点はどのクラスターから来たか？この文書はどのトピックが生成したか？これらの隠れた潜在変数Zは最尤推定を困難にする：対数の中に和が含まれるので対数尤度をただ最大化できない。EMアルゴリズムが優雅な修正です。
EMは難しい同時最適化を2つの簡単な交互ステップに分割し、収束まで繰り返す：
EMが各ラウンドで実際に押し上げる量は対数尤度の下限でELBO（証拠下界）と呼ばれる。Eステップが下限を締め；Mステップがそれを上げる。
機械学習における位置づけEMはガウス混合モデルとクラスタリングの背後のエンジンで、そのE/M構造は変分オートエンコーダの概念的祖先です。VAEのエンコーダはEステップの役割（潜在zを推論）を果たし、デコーダとELBO目的がMステップを果たす。「潜在変数を推論しパラメータを更新することで下限を最大化する」パターンは現代の潜在変数モデルの至る所にある。
▶ EMアルゴリズム