बड़ी संख्याओं का नियम

अनिश्चितता का गणित

एक निष्पक्ष सिक्का दस बार उछालें और आपको 7 चित्त मिल सकते। दस हज़ार बार उछालें और चित्त का अंश 0.5 के आश्चर्यजनक रूप से निकट। वह बड़ी संख्याओं का नियम: जैसे आप अधिक डेटा एकत्र, नमूना माध्य सत्य प्रत्याशा के लिए अभिसरण।

यादृच्छिकता गायब नहीं, और व्यक्तिगत परिणाम अप्रत्याशित रहते, लेकिन उनमें से कई का औसत स्थिर। दुर्बल नियम कहता यह अभिसरण "प्रायिकता में": किसी भी सहनशीलता के लिए, औसत उस सहनशीलता से अधिक बंद की संभावना n बढ़ने पर 0 की ओर।

आकृति में Run दबाएँ एक समय पर सिक्के उछालें और देखें क्रमशः औसत पहले जंगली, फिर विच्छेदित सत्य माध्य पर। अधिक नमूने, कसकर अभिसरण।

ML में इसका स्थानबड़ी संख्याओं का नियम मिनी-बैच प्रशिक्षण को ध्वनि बनाता। सत्य ग्रेडिएंट संपूर्ण डेटा वितरण पर एक प्रत्याशा; एक मिनी-बैच ग्रेडिएंट इसका एक नमूना औसत। LLN से, वह औसत सत्य ग्रेडिएंट सन्निकट और बड़े बैचों से अधिक सटीक। ML में हर मॉन्टे कार्लो अनुमान (अपेक्षित पुरस्कार, ELBO पद, अनुभवजन्य जोखिम) इस नियम पर निर्भर "नमूनों पर औसत ≈ सत्य प्रत्याशा" उचित ठहराने।
▶ बड़ी संख्याओं का नियम
← पारस्परिक सूचनाकेंद्रीय सीमा प्रमेय →