MLE за често срещани разпределения — Статистика

Рецептата за MLE винаги е една и съща: запишете логаритмичната правдоподобност, намерете производната ѝ по отношение на параметъра, приравнете я на нула и решете. За двете разпределения, които ще срещате най-често, отговорът е прекрасно прост: това е просто средната стойност на извадката.

За данни, извлечени от нормално разпределение, максимизирането на логаритмичната правдоподобност дава възможно най-интуитивните оценки:

Представете си, че хвърляте огъната монета много пъти, за да отгатнете колко е пристрастна. Максималното правдоподобие не се измъчва над това: единственото най-добро предположение за шанса за ези е просто частта от ези, която реално сте видели. Оценката p̂ не е нищо повече от текущия резултат, превърнат в средна стойност, същата проста средна стойност на извадката x̄ под прикритие.

Къде се използва това в MLТези решения в затворена форма са причината най-простите модели да се обучават толкова бързо. Линейната регресия е MLE при допускане за Гаусов шум и има директно решение в затворена форма. Логистичната регресия е MLE за Бернулиев/категориен етикет – тя няма решение в затворена форма, но същият принцип управлява градиентните стъпки. Рецептата „логаритмична правдоподобност → производна →…