Hukum Bilangan Besar

Matematika ketidakpastian

Lempar koin adil sepuluh kali dan Anda mungkin dapat 7 head. Lempar sepuluh ribu kali dan fraksi head akan memeluk 0.5 sangat dekat. Itulah hukum bilangan besar: saat Anda mengumpulkan lebih banyak data, mean sampel konvergen ke ekspektasi sejati.

Keacakan tidak lenyap, dan hasil individu tetap tak terduga, tapi rata-rata banyak dari mereka menetap. Hukum lemah mengatakan konvergensi ini "dalam probabilitas": untuk toleransi apa pun, peluang rata-rata meleset lebih dari toleransi itu menyusut menuju 0 saat n tumbuh.

Tekan Run di gambar untuk melempar koin satu per satu dan saksikan rata-rata berjalan mengembara liar mula-mula, lalu pulang ke mean sejati putus-putus. Lebih banyak sampel, konvergensi lebih ketat.

Di mana ini berlaku dalam MLHukum bilangan besar yang membuat pelatihan mini-batch masuk akal. Gradien sejati adalah ekspektasi atas seluruh distribusi data; gradien mini-batch adalah rata-rata sampel darinya. Menurut LLN, rata-rata itu mengaproksimasi gradien sejati dan lebih akurat dengan batch lebih besar. Setiap estimasi Monte Carlo di ML (reward ekspektasi, suku ELBO, risiko empiris) bersandar pada hukum ini untuk…
▶ Hukum Bilangan Besar
← Informasi MutualTeorema Limit Pusat →