Wichtige diskrete Verteilungen

Die Mathematik der Unsicherheit

Eine Handvoll benannter Verteilungen deckt die meisten diskreten Situationen im ML ab. Jede ist eine fertige PMF mit bekanntem Erwartungswert und bekannter Varianz, sodass man auf die passende zurückgreift, statt sie jedes Mal neu herzuleiten.

Bernoulli(p) modelliert einen einzelnen Versuch mit zwei Ergebnissen: Erfolg (1) mit Wahrscheinlichkeit p, Misserfolg (0) mit Wahrscheinlichkeit 1−p. Sie ist der Baustein, aus dem jede andere diskrete Verteilung aufgebaut ist.

Zwei alltägliche Zählungen veranschaulichen die wichtigsten Verteilungen. Wirf eine Münze 10 Mal und zähle die Köpfe: Diese Zählung ist binomialverteilt, eine Summe von 10 unabhängigen Ja/Nein-Versuchen. Zähle nun die Anrufe, die ein Helpdesk in einer Stunde erhält: Diese Zählung ist Poisson-verteilt, das Gesetz für seltene Ereignisse, die über die Zeit verstreut sind, mit einer einzigen Rate λ, die gleichzeitig ihr Mittelwert und ihre Varianz ist.

Wo das im ML vorkommtWenn Sie eine Verlustfunktion für die Klassifikation wählen, entscheiden Sie sich in Wahrheit für eine dieser Verteilungen. Die binäre Cross-Entropy ist die negative Log-Likelihood einer Bernoulli-Verteilung: Sie bewertet die einzelne Modellwahrscheinlichkeit gegen ein 0/1-Label. Die Mehrklassen-Cross-Entropy ist die negative Log-Likelihood einer kategorialen Verteilung, also die Softmax-Ausgabe,…
▶ Wichtige diskrete Verteilungen
← VarianzPDF und CDF →