Büyük Sayılar Yasası

The mathematics of uncertainty

Adil bir madeni parayı on kez atarsan 7 tura gelebilir. On bin kez atarsan tura oranı 0.5'e şaşırtıcı derecede yakın sarılır. İşte büyük sayılar yasası budur: daha fazla veri topladıkça, örneklem ortalaması gerçek beklentiye yakınsar.

Rastgelelik yok olmaz ve tekil sonuçlar tahmin edilemez kalır, ama bunların çoğunun ortalaması yatışır. Zayıf yasa, bu yakınsamanın "olasılık anlamında" olduğunu söyler: herhangi bir tolerans için, ortalamanın o toleranstan daha fazla sapma olasılığı n büyüdükçe 0'a doğru küçülür.

Şekilde Çalıştır'a basarak madeni paraları teker teker at ve yürüyen ortalamanın önce çılgınca dolaşıp sonra kesikli gerçek ortalamaya nasıl yerleştiğini izle. Daha fazla örnek, daha sıkı yakınsama.

Bunun ML'deki yeriBüyük sayılar yasası mini-parti (mini-batch) eğitimini sağlam kılan şeydir. Gerçek gradyan, tüm veri dağılımı üzerinden bir beklentidir; bir mini-parti gradyanı ise onun bir örneklem ortalamasıdır. BSY gereği, bu ortalama gerçek gradyanı yaklaşık olarak verir ve daha büyük partilerle daha da doğru hale gelir. ML'deki her Monte Carlo kestirimi (beklenen ödül, bir ELBO terimi, ampirik risk)…
▶ Büyük Sayılar Yasası
← Karşılıklı BilgiMerkezi Limit Teoremi →