MLE dla typowych rozkładów

Wnioskowanie, estymacja i podejmowanie decyzji z danych

Procedura MLE jest zawsze taka sama: zapisz log-wiarygodność, oblicz jej pochodną względem parametru, przyrównaj ją do zera i rozwiąż równanie. Dla dwóch rozkładów, z którymi będziesz spotykać się najczęściej, wynik jest niezwykle prosty: rozwiązaniem jest po prostu średnia z próby.

W przypadku danych pochodzących z rozkładu normalnego maksymalizacja log-wiarygodności prowadzi do najbardziej intuicyjnych estymatorów:

Wyobraź sobie, że rzucasz wygiętą monetą wiele razy, aby odgadnąć, jak bardzo jest obciążona. Największa wiarygodność nie łamie sobie nad tym głowy: najlepszym pojedynczym domysłem dla szansy na orła jest po prostu ułamek orłów, które faktycznie zobaczyłeś. Oszacowanie p̂ to nic innego jak bieżący rachunek zamieniony w średnią, to samo zwykłe średnie z próby x̄ w przebraniu.

Gdzie to występuje w MLDzięki istnieniu postaci zamkniętych (wzorów jawnych) najprostsze modele tak szybko się uczą. Regresja liniowa to w istocie MLE przy założeniu szumu gaussowskiego, która od razu zwraca dokładne, zamknięte rozwiązanie. Z kolei regresja logistyczna to MLE dla etykiety z rozkładu Bernoulliego (lub rozkładu kategorycznego). Nie ma ona wprawdzie jawnego rozwiązania (postaci zamkniętej), ale opiera się…
▶ MLE dla typowych rozkładów
← Estymacja maksymalnej wiarygodnościEstymacja bayesowska →