MLE для распространённых распределений — Статистика

Вывод, оценивание и принятие решений по данным

Рецепт MLE всегда один: записать лог-правдоподобие, взять производную по параметру, приравнять к нулю, решить. Для двух самых частых распределений ответ изящно прост: это просто выборочное среднее.

Для данных из нормального распределения максимизация лог-правдоподобия даёт самые интуитивные оценки:

Представьте, что вы подбрасываете погнутую монету кучу раз, чтобы угадать, насколько она смещена. Максимальное правдоподобие не мучается над этим: единственная лучшая догадка для шанса выпадения орла — это просто та доля орлов, которую вы на самом деле увидели. Оценка p̂ — это не что иное, как текущий счет, превращенный в среднее, то же самое обычное выборочное среднее x̄ под прикрытием.

Где это встречается в MLЭти замкнутые формы — почему простейшие модели быстры. Линейная регрессия — MLE при гауссовом шуме с одноразовым замкнутым решением. Логистическая регрессия — MLE для Бернулли/категориальной метки, без замкнутой формы, но тот же принцип ведёт шаги градиента. Рецепт «лог-правдоподобие → производная → ноль» — скелет каждой процедуры подгонки.