Loi des Grands Nombres

Les mathématiques de l'incertitude

Lancez une pièce équilibrée dix fois et vous pourriez obtenir 7 faces. Lancez-la dix mille fois et la fraction de faces collera à 0,5 de façon stupéfiante. C'est la loi des grands nombres : quand vous collectez plus de données, la moyenne d'échantillon converge vers la vraie espérance.

Le hasard ne disparaît pas, et les résultats individuels restent imprévisibles, mais leur moyenne se stabilise. La loi faible dit que cette convergence est « en probabilité » : pour toute tolérance, la chance que la moyenne s'écarte de plus que cette tolérance diminue vers 0 quand n grandit.

Appuyez sur Run dans la figure pour lancer des pièces une à la fois et observez la moyenne courante errer sauvagement au début, puis converger vers la vraie moyenne en pointillé. Plus d'échantillons, convergence plus serrée.

Où cela apparaît en MLLa loi des grands nombres est ce qui rend l'entraînement par mini-batch sain. Le vrai gradient est une espérance sur toute la distribution des données ; un gradient de mini-batch en est une moyenne d'échantillon. Par la LGN, cette moyenne approxime le vrai gradient et devient plus précise avec des batches plus grands. Toute estimation de Monte Carlo en ML (récompense espérée, un terme ELBO, un…
▶ Loi des Grands Nombres
← Information MutuelleThéorème Central Limite →