Théorème Central Limite

Les mathématiques de l'incertitude

La loi des grands nombres dit que la moyenne d'échantillon converge vers μ. Mais comment y arrive-t-elle, et à quoi ressemble l'oscillation résiduelle ? Le théorème central limite donne une réponse frappante : l'oscillation est toujours gaussienne, quelle que soit la distribution de départ.

Moyennez assez d'échantillons indépendants et la moyenne standardisée suit une normale standard, même si les originaux étaient des lancers de pièce, des dés, ou une distribution asymétrique. C'est pourquoi la cloche gaussienne apparaît si souvent : tout ce qui est une somme de nombreux petits effets indépendants finit gaussien.

La figure moyenne n lancers d'un dé plat et histogramme le résultat sur de nombreux essais. À n = 1 l'histogramme est plat (uniforme) ; montez n et une cloche émerge de nulle part, le TCL construisant une Gaussienne depuis une source non gaussienne.

Où cela apparaît en MLLe TCL explique la structure de bruit de l'optimisation stochastique. Un gradient de mini-batch est une moyenne sur les exemples du batch, donc par le TCL son erreur autour du vrai gradient est approximativement gaussienne avec un étalement σ/√(batch size). C'est pourquoi le bruit de gradient a l'air normal, pourquoi des batches plus grands donnent des pas proportionnellement plus lisses (mais…
▶ Théorème Central Limite
← Loi des Grands NombresMesures de Centre →