نظرية النهاية المركزية — الاحتمالات

يقول قانون الأعداد الكبيرة إن متوسط العينة يتقارب نحو μ. لكن كيف يصل إلى هناك، وكيف يبدو التذبذب المتبقي؟ تقدم نظرية النهاية المركزية إجابة لافتة: التذبذب غاوسي دائمًا، مهما كان التوزيع الذي بدأت منه.

احسب متوسط عدد كافٍ من العينات المستقلة وسيتبع المتوسط المعيّر التوزيع الطبيعي المعياري، حتى لو كانت الأصول رميات عملة أو نردًا أو توزيعًا غير متماثل. ولهذا يظهر منحنى الجرس كثيرًا: فأي شيء يكون مجموعًا لكثير من التأثيرات الصغيرة المستقلة ينتهي به الأمر غاوسيًا.

يحسب الشكل متوسط n رمية لنرد منتظم ويرسم مدرجًا تكراريًا للنتيجة عبر تجارب كثيرة. عند n = 1 يكون المدرج التكراري مسطحًا (منتظمًا)؛ زِد n ويبرز جرس من العدم، إذ تبني النظرية توزيعًا غاوسيًا من مصدر غير غاوسي.

أين يظهر هذا في تعلّم الآلةتفسر نظرية النهاية المركزية بنية الضوضاء في التحسين العشوائي. تدرج الدفعة الصغيرة هو متوسط على أمثلة الدفعة، فبموجب النظرية يكون خطؤه حول التدرج الحقيقي غاوسيًا تقريبًا بانتشار σ/√(batch size). ولهذا تبدو ضوضاء التدرج طبيعية، ولهذا تعطي الدفعات الأكبر خطوات أنعم تناسبيًا (لكن أفضل بمقدار √n فقط)، ولهذا تُحسب أشرطة الخطأ على دقات المقارنات المرجعية بفترات ثقة مبنية على التوزيع الطبيعي.