Закон больших чисел — Вероятность

Подбросьте честную монету десять раз — можете получить 7 орлов. Подбросьте десять тысяч — доля орлов поразительно прижмётся к 0.5. Это закон больших чисел: собирая больше данных, выборочное среднее сходится к истинному матожиданию.

Случайность не исчезает, и отдельные исходы остаются непредсказуемыми, но их среднее оседает. Слабый закон говорит, что сходимость «по вероятности»: для любой толерантности шанс, что среднее отклонится больше, стремится к 0 с ростом n.

Нажмите Run на фигуре, чтобы подбрасывать монеты по одной и смотреть, как бегущее среднее сначала блуждает дико, затем приближается к пунктирному истинному. Больше сэмплов — теснее сходимость.

Где это встречается в MLЗакон больших чисел делает мини-батч обучение обоснованным. Истинный градиент — матожидание по всему распределению данных; градиент мини-батча — выборочное среднее. По ЗБЧ это среднее приближает истинный градиент и точнее с большим батчем. Каждая оценка Монте-Карло в ML (ожидаемое вознаграждение, член ELBO, эмпирический риск) опирается на этот закон: «среднее по сэмплам ≈ истинное матожидание».