Gesetz der großen Zahlen

Die Mathematik der Unsicherheit

Wirf eine faire Münze zehnmal, und du bekommst vielleicht 7 Mal Kopf. Wirf sie zehntausendmal, und der Anteil an Kopf wird sich erstaunlich genau an 0,5 anschmiegen. Das ist das Gesetz der großen Zahlen: Je mehr Daten man sammelt, desto näher rückt der Stichprobenmittelwert an den wahren Erwartungswert heran.

Die Zufälligkeit verschwindet nicht, und einzelne Ergebnisse bleiben unvorhersehbar, doch der Durchschnitt vieler von ihnen beruhigt sich. Das schwache Gesetz besagt, dass diese Konvergenz „in Wahrscheinlichkeit“ erfolgt: Für jede Toleranz sinkt die Wahrscheinlichkeit, dass der Durchschnitt um mehr als diese Toleranz abweicht, mit wachsendem n gegen 0.

Drücke Ausführen in der Abbildung, um die Münzen einzeln zu werfen und zuzusehen, wie der laufende Durchschnitt zunächst wild umherwandert und sich dann auf die gestrichelte Linie des wahren Mittelwerts einpendelt. Mehr Stichproben, engere Konvergenz.

Wo das im ML vorkommtDas Gesetz der großen Zahlen ist es, was das Minibatch-Training tragfähig macht. Der wahre Gradient ist ein Erwartungswert über die gesamte Datenverteilung; ein Minibatch-Gradient ist ein Stichprobenmittelwert davon. Nach dem Gesetz der großen Zahlen approximiert dieser Mittelwert den wahren Gradienten und wird mit größeren Batches genauer. Jede Monte-Carlo-Schätzung im ML (erwartete Belohnung,…
▶ Gesetz der großen Zahlen
← Mutual InformationZentraler Grenzwertsatz →