MLE für gängige Verteilungen

Inferenz, Schätzung und Entscheidungsfindung aus Daten

Das MLE-Rezept ist immer dasselbe: Schreibe die Log-Likelihood auf, leite sie nach dem Parameter ab, setze die Ableitung gleich null und löse. Für die beiden Verteilungen, denen du am häufigsten begegnest, ist das Ergebnis wunderbar einfach: Es ist einfach ein Stichprobendurchschnitt.

Für Daten, die aus einer Normalverteilung gezogen wurden, liefert das Maximieren der Log-Likelihood die intuitivsten Schätzer, die man sich vorstellen kann:

Stell dir vor, du wirfst eine verbogene Münze einige Male, um zu schätzen, wie verzerrt sie ist. Maximum Likelihood zerbricht sich darüber nicht den Kopf: Der einzig beste Tipp für die Wahrscheinlichkeit von Kopf ist einfach der Anteil an Kopf, den du tatsächlich gesehen hast. Der Schätzwert p̂ ist nichts anderes als die laufende Zählung, verwandelt in einen Durchschnitt, derselbe einfache Stichprobenmittelwert x̄ in Verkleidung.

Wo das im ML vorkommtDiese geschlossenen Formeln sind der Grund, warum sich die einfachsten Modelle so schnell anpassen lassen. Lineare Regression ist MLE unter gaußschem Rauschen und hat eine geschlossene Lösung in einem Schritt. Logistische Regression ist MLE für ein Bernoulli- bzw. kategoriales Label, ohne geschlossene Form, aber dasselbe Prinzip treibt die Gradientenschritte an. Das Rezept "Log-Likelihood →…
▶ MLE für gängige Verteilungen
← Maximum Likelihood SchätzungBayessche Schätzung →