常见分布的 MLE

从数据中进行推断、估计和决策

MLE 的流程总是一样:写出对数似然,对参数求导,设为零,然后求解。对你最常遇到的两个分布,答案非常简单:就是样本平均。

对来自正态分布的数据,最大化对数似然会给出最直观的估计量:

想象一下,你抛了很多次弯曲的硬币来猜测它的偏差有多大。最大似然法不会对此感到苦恼:对正面概率的唯一最佳猜测就是你实际看到的正面的比例。估计值 p̂ 无非是运行计数变成了平均值,也就是伪装起来的普通样本均值 x̄。

在机器学习中的应用这些闭式解解释了为什么最简单的模型拟合得很快。线性回归是 Gaussian 噪声下的 MLE,并且有一次性闭式解。逻辑回归是 Bernoulli/categorical 标签的 MLE,没有闭式解,但同一原则驱动梯度步。“对数似然 → 求导 → 置零”这个流程,是每种拟合过程的骨架。
▶ 常见分布的 MLE
← 最大似然估计Bayesian 估计 →