ارمِ عملة متوازنة عشر مرات وقد تحصل على 7 صور. ارمِها عشرة آلاف مرة وستلتصق نسبة الصور بـ 0.5 التصاقًا مذهلًا. هذا هو قانون الأعداد الكبيرة: كلما جمعت بيانات أكثر، تقارب متوسط العينة التوقع الحقيقي.
العشوائية لا تختفي، وتظل النتائج الفردية غير قابلة للتنبؤ، لكن متوسط الكثير منها يستقر. ينص القانون الضعيف على أن هذا التقارب يحدث "احتماليًا": فلأي حد سماح، يتقلص احتمال أن ينحرف المتوسط بأكثر من ذلك الحد نحو 0 مع نمو n.
اضغط تشغيل في الشكل لرمي العملات واحدة تلو الأخرى وشاهد المتوسط الجاري يتجول بعنف في البداية، ثم يستقر على المتوسط الحقيقي المنقّط. عينات أكثر، تقارب أحكم.
أين يظهر هذا في تعلّم الآلةقانون الأعداد الكبيرة هو ما يجعل التدريب بالدفعات الصغيرة سليمًا. التدرج الحقيقي هو توقع على توزيع البيانات بأكمله؛ وتدرج الدفعة الصغيرة هو متوسط عينة منه. بموجب القانون، يقارب ذلك المتوسط التدرج الحقيقي ويصبح أدق مع دفعات أكبر. كل تقدير مونت كارلو في تعلم الآلة (المكافأة المتوقعة، حد ELBO، خطر تجريبي) يعتمد على هذا القانون لتبرير "المتوسط على العينات ≈ التوقع الحقيقي".