חוק המספרים הגדולים — הסתברות

הטל מטבע הוגן עשר פעמים, ואולי יצא לך 7 פעמים עץ. הטל אותו עשרת אלפים פעמים, ושיעור פעמי העץ ידבק ב־0.5 בצורה מפתיעה. זהו חוק המספרים הגדולים: ככל שאתה אוסף יותר נתונים, הממוצע המדגמי מתכנס לתוחלת האמיתית.

האקראיות לא נעלמת, ותוצאות בודדות נשארות בלתי־צפויות, אבל הממוצע של רבות מהן מתייצב. החוק החלש אומר שהתכנסות זו היא "בהסתברות": לכל סף, הסיכוי שהממוצע חורג ביותר מהסף שואף ל־0 ככל ש־n גדל.

לחץ Run באיור כדי להטיל מטבעות אחד אחרי השני, וצפה בממוצע המצטבר נודד בפראות בהתחלה ואז מתייצב על הממוצע האמיתי המסומן בקו המקווקו. ככל שיש יותר דגימות, ההתכנסות הדוקה יותר.

איפה זה ב־MLחוק המספרים הגדולים הוא מה שהופך אימון mini-batch למוצק. הגרדיאנט האמיתי הוא תוחלת על כל התפלגות הנתונים; גרדיאנט mini-batch הוא ממוצע מדגמי שלו. לפי החוק, אותו ממוצע מקרב את הגרדיאנט האמיתי ומדויק יותר עם batch גדול יותר. כל אומדן מונטה־קרלו ב־ML (תגמול צפוי, איבר ELBO, סיכון אמפירי) נשען על חוק זה כדי להצדיק "ממוצע על דגימות ≈ התוחלת האמיתית".