משפט הגבול המרכזי — הסתברות · Mathematics for Machine Learning

חוק המספרים הגדולים אומר שהממוצע המדגמי מתכנס אל μ. אבל כיצד הוא מגיע לשם, ואיך נראית הנדנדה שנותרת בדרך? משפט הגבול המרכזי נותן תשובה מפתיעה: הנדנדה הזו היא תמיד גאוסיאנית, לא משנה מאיזו התפלגות התחלת.

מצע מספיק דגימות בלתי־תלויות, והממוצע המתוקנן יעקוב אחר התפלגות נורמלית סטנדרטית — גם אם הדגימות המקוריות היו הטלות מטבע, הטלות קובייה, או התפלגות עקומה כלשהי. זו הסיבה שעקומת הפעמון מופיעה כה לעיתים קרובות: כל דבר שהוא סכום של השפעות קטנות ובלתי־תלויות רבות מסתיים כגאוסיאני.

האיור ממצע n הטלות של קובייה אחידה ומציג היסטוגרמה של התוצאה על פני ניסויים רבים. ב־n = 1 ההיסטוגרמה שטוחה (אחידה); הגדל את n, ופעמון יצוץ כמו יש מאין — ה־CLT בונה גאוסיאנית ממקור שאינו גאוסיאני.

איפה זה ב־MLה־CLT מסביר את מבנה הרעש של אופטימיזציה סטוכסטית. גרדיאנט ה־mini-batch הוא ממוצע על פני דוגמאות ה־batch, ולכן לפי ה־CLT השגיאה שלו סביב הגרדיאנט האמיתי היא בקירוב גאוסיאנית עם פריסה σ/√(batch size). זו הסיבה שרעש הגרדיאנט נראה נורמלי, שבזכותה batch גדול יותר נותן צעדים חלקים יותר באופן יחסי (אך משתפר רק כ־√n), ובגללה סרגלי השגיאה על דיוקי benchmark מחושבים בעזרת רווחי סמך מבוססי־נורמל.