نظرية بايز — الاحتمالات · Mathematics for Machine Learning

غالبًا ما تعرف اتجاهًا واحدًا للاحتمال الشرطي لكنك تريد الاتجاه الآخر. اختبار طبي يخبرك بـ P(positive | disease)، لكن المريض يريد P(disease | positive). نظرية بايز هي الجسر الذي يقلب الاحتمال الشرطي.

تنبثق مباشرة من الدرس السابق. قاعدة الضرب تعطي P(A∩B) بطريقتين، كـ P(A|B)P(B) وكـ P(B|A)P(A). ساوِ بينهما واقسم على P(B). الأجزاء الثلاثة لها أسماء ستقابلها في كل مكان في تعلم الآلة: P(A) هو القبلي (الاعتقاد قبل الدليل)، و P(B|A) هو الأرجحية (مدى تفسير A للدليل)، و P(A|B) هو البعدي (الاعتقاد المُحدَّث).

المقام P(B) يُحسَب عادة بالتقسيم عبر جميع الطرق التي يمكن أن يقع بها B، وهي قانون الاحتمال الكلي:

أين يظهر هذا في تعلّم الآلةنظرية بايز هي محرك تعلم الآلة الاحتمالي. الاستدلال البايزي يحدّث توزيعًا قبليًا على المعاملات إلى توزيع بعدي بمعلومية البيانات: P(θ | data) ∝ P(data | θ)·P(θ). تدريب الأرجحية العظمى هو الحالة الخاصة حيث يكون القبلي مستويًا، وإضافة قبلي هو بالضبط ما يفعله تنظيم L2 (قبلي غاوسي على الأوزان). إن "التنبؤ البعدي" بأكمله في شبكة عصبية بايزية هو هذه الصيغة مطبَّقة على نطاق واسع.