Merkezi Limit Teoremi

The mathematics of uncertainty

Büyük sayılar yasası, örneklem ortalamasının μ'ye yakınsadığını söyler. Ama oraya nasıl ulaşır ve geriye kalan titreşim neye benzer? Merkezi limit teoremi çarpıcı bir yanıt verir: titreşim, hangi dağılımdan başlarsan başla, her zaman Gauss'tur.

Yeterince çok bağımsız örnek ortalarsan, orijinaller yazı tura atışları, zarlar veya bir çarpık dağılım olsa bile, standartlaştırılmış ortalama bir standart normal dağılımı izler. Çan eğrisinin bu kadar sık ortaya çıkmasının nedeni budur: birçok küçük bağımsız etkinin toplamı olan her şey sonunda Gauss olur.

Şekil, düz bir zarın n atışını ortalar ve sonucu birçok deneme üzerinden histogramlar. n = 1'de histogram düzdür (tekdüze); n'yi yükselt ve yoktan bir çan belirir — MLT, Gauss olmayan bir kaynaktan bir Gauss inşa eder.

Bunun ML'deki yeriMLT, stokastik optimizasyonun gürültü yapısını açıklar. Bir mini-parti gradyanı, parti örnekleri üzerinden bir ortalamadır, bu yüzden MLT gereği gerçek gradyan etrafındaki hatası yaklaşık olarak σ/√(batch size) yayılımıyla Gauss'tur. Gradyan gürültüsünün neden normal göründüğü, daha büyük partilerin neden orantılı olarak daha pürüzsüz (ama yalnızca √n kadar daha iyi) adımlar verdiği ve kıyaslama…
▶ Merkezi Limit Teoremi
← Büyük Sayılar YasasıMerkez Ölçüleri →