Оцінка максимальної правдоподібності — Статистика

Висновок, оцінка та прийняття рішень на основі даних

Якщо ти маєш вибрати одне значення параметра θ, найприродніше правило: обрати той θ, який робить спостережені дані найімовірнішими. Це оцінка максимальної правдоподібності (MLE), принцип, що лежить за навчанням майже кожної моделі в ML.

Дано дані x₁, …, xₙ, що вважаються незалежними, ймовірність усього зразка — добуток точкових ймовірностей. Як функція від θ цей добуток — правдоподібність:

Множення багатьох малих ймовірностей округлюється до нуля і незручно для диференціювання. Виправлення — взяти логарифм: лог добутку — сума, а лог зростає, тому не зміщує точку максимуму. Максимізуємо логарифм правдоподібності:

Де це в MLНавчання моделі — це максимальна правдоподібність. Мінімізація крос-ентропії — саме максимізація логарифму правдоподібності міток; крос-ентропія — негативний логарифм правдоподібності. Мінімізація середньоквадратичної похибки — МП за припущення гаусового шуму. Коли ти викликаєш .backward() і крок оптимізатора, ти піднімаєшся по поверхні логарифму правдоподібності, просто в мільйонах вимірів.