期望最大化（EM）

从数据中进行推断、估计和决策

有时最重要的变量恰恰是你从未观测到的那个。这个点来自哪个簇？哪个主题生成了这篇文档？这些隐藏的潜变量 Z 使得极大似然变得困难：你无法直接最大化对数似然，因为它现在在对数内部包含了一个求和。期望最大化（EM）正是优雅的解决之道。

EM 把一个困难的联合优化拆分成两个简单的交替步骤，反复执行直到收敛：

EM 每一轮实际推高的量，是对数似然的一个下界，称为 ELBO（证据下界）。E 步收紧这个下界；M 步抬高它。

在机器学习中的应用EM 是高斯混合模型与聚类背后的引擎，其 E/M 结构是变分自编码器的概念先驱。VAE 的编码器扮演 E 步的角色（推断潜变量 z），解码器与 ELBO 目标扮演 M 步。这种“通过在推断潜变量与更新参数之间交替来最大化一个下界”的模式，在现代潜变量模型中无处不在。