MLE voor Veelvoorkomende Verdelingen

Inferentie, schatting en besluitvorming uit data

Het MLE-recept is altijd hetzelfde: schrijf de log-aannemelijkheid, neem de afgeleide naar de parameter, stel die gelijk aan nul, los op. Voor de twee verdelingen die je het meest zult tegenkomen is het antwoord prachtig eenvoudig: het is gewoon een steekproefgemiddelde.

Voor gegevens getrokken uit een normale verdeling levert het maximaliseren van de log-aannemelijkheid de meest intuïtieve schatters die mogelijk zijn:

Stel je voor dat je een verbogen munt een aantal keren gooit om te raden hoe vertekend deze is. Maximum likelihood piekert er niet over: de enige beste gok voor de kans op kop is gewoon de fractie keren kop die je daadwerkelijk hebt gezien. De schatting p̂ is niets meer dan de lopende telling veranderd in een gemiddelde, hetzelfde gewone steekproefgemiddelde x̄ in vermomming.

Waar dit voorkomt in MLDeze gesloten vormen zijn de reden dat de eenvoudigste modellen zo snel te fitten zijn. Lineaire regressie is MLE onder Gaussische ruis en heeft een eenmalige oplossing in gesloten vorm. Logistische regressie is MLE voor een Bernoulli-/categorisch label, zonder gesloten vorm, maar hetzelfde principe drijft de gradiëntstappen aan. Het recept "log-aannemelijkheid → afgeleide → nul" is het skelet…
▶ MLE voor Veelvoorkomende Verdelingen
← Maximum-AannemelijkheidschattingBayesiaanse Schatting →