التوزيعات المنفصلة الرئيسية — الاحتمالات

حفنة من التوزيعات المسماة تغطي معظم المواقف المنفصلة في تعلم الآلة. كل منها دالة كتلة احتمالية جاهزة بمتوسط وتباين معلومين، فتختار التوزيع المناسب بدلًا من إعادة الاشتقاق من الصفر.

برنولي(p) تنمذج تجربة واحدة بناتجين: نجاح (1) باحتمال p، وفشل (0) باحتمال 1−p. إنها اللبنة التي يُبنى منها كل توزيع منفصل آخر.

إحصاءان يوميان يبرزان التوزيعات الرئيسية. ارمِ عملة معدنية 10 مرات وعد الصور: هذا العدد يتبع التوزيع ذي الحدين، وهو مجموع 10 محاولات مستقلة من نعم/لا. الآن قم بعد المكالمات الهاتفية التي يتلقاها مكتب المساعدة في ساعة واحدة: هذا العدد يتبع توزيع بواسون، وهو قانون الأحداث النادرة المتناثرة عبر الزمن، بمعدل واحد λ يعمل كمتوسطه وتباينه في الوقت نفسه.

أين يظهر هذا في تعلّم الآلةعندما تختار خسارة تصنيف، فإنك في الحقيقة تختار أحد هذه التوزيعات. الإنتروبيا المتقاطعة الثنائية هي سالب لوغاريتم أرجحية برنولي: تقيّم احتمال النموذج الواحد مقابل تصنيف 0/1. والإنتروبيا المتقاطعة متعددة الفئات هي سالب لوغاريتم أرجحية الفئوي، أي مخرج softmax مُقيَّمًا مقابل تصنيف أحادي ساخن. الخسارة التي تختارها تشفّر أي توزيع تفترض أن التصنيفات تتبعه.