Teorema Limit Pusat

Matematika ketidakpastian

Hukum bilangan besar mengatakan mean sampel konvergen ke μ. Tapi bagaimana ia sampai sana, dan seperti apa goyangan sisa? Teorema limit pusat member jawaban mencengangkan: goyangan selalu Gaussian, tidak peduli distribusi apa Anda mulai.

Rata-rata cukup banyak sampel independen dan rata-rata terstandarisasi mengikuti normal standar, bahkan jika aslinya lempar koin, dadu, atau distribusi miring. Inilah mengapa kurva lonceng muncul begitu sering: apapun yang jumlah banyak efek kecil independen berakhir Gaussian.

Gambar merata-rata n lempar dadu datar dan menghistogram hasil atas banyak uji. Di n = 1 histogram datar (uniform); naikkan n dan lonceng muncul dari nowhere, CLT membangun Gaussian dari sumber non-Gaussian.

Di mana ini berlaku dalam MLCLT menjelaskan struktur noise optimisasi stokastik. Gradien mini-batch adalah rata-rata atas contoh batch, jadi menurut CLT galatnya sekitar gradien sejati kira-kira Gaussian dengan sebaran σ/√(batch size). Itulah mengapa noise gradien terlihat normal, mengapa batch lebih besar member langkah lebih halus proporsional (tapi hanya √n-lebih baik), dan mengapa error bar pada akurasi benchmark…

▶ Teorema Limit Pusat

← Hukum Bilangan Besar Ukuran Pusat →