التوزيعات المشتركة — الاحتمالات

حتى الآن عاش كل متغير عشوائي وحده. لكن الأسئلة المثيرة تتعلق بالعلاقات: الطول والوزن، صورة وتسميتها. يعطي التوزيع المشترك p(x, y) احتمال كل زوج من القيم دفعة واحدة. إنه الوصف الكامل لكيفية تصرف متغيرين (أو أكثر) معًا.

بالنسبة للمتغيرات المتقطعة، تخيّل شبكة: الصفوف هي قيم X، والأعمدة قيم Y، وكل خلية تحمل احتمال ذلك التركيب. كل الخلايا غير سالبة ومجموعها 1، البديهيات من جديد، الآن في بُعدين. بالنسبة للمتغيرات المتصلة فهي كثافة f(x, y) والاحتمالات هي حجوم تحت سطح ثنائي البعد.

تخيل جدولاً ثنائي الاتجاه لأشخاص مصنفين حسب الطول والوزن في نفس الوقت: قصير-وخفيف في خلية واحدة، طويل-وثقيل في خلية أخرى، ورقم في كل خلية يوضح مدى شيوع هذا الاقتران. هذه الشبكة بأكملها من الاقترانات هي التوزيع المشترك p(x, y) — إنها تصف الطول والوزن معاً، وليس كل واحد على حدة. املأ كل خلية، واجعلها غير سالبة بحيث يكون مجموعها 1، وستكون قد التقطت الصورة الكاملة لكيفية انتقال السمتين معاً.

أين يظهر هذا في تعلّم الآلةالتعلّم الخاضع للإشراف هو نمذجة توزيع مشترك p(x, y) للمدخلات والتسميات، أو جزء منه. تتعلّم النماذج التوليدية التوزيع المشترك الكامل p(x, y) ويمكنها تركيب بيانات جديدة؛ بينما تتعلّم النماذج التمييزية فقط التوزيع الشرطي p(y | x) اللازم للتنبؤ. التمييز كله بين التوليدي والتمييزي يتعلق بمقدار ما تكلّف نفسك بنمذجته من التوزيع المشترك.