التقدير البايزي

الاستدلال والتقدير واتخاذ القرار من البيانات

يسأل تقدير الإمكان الأقصى «أي θ واحد يفسّر البيانات على أفضل وجه؟» أما التقدير البايزي فيسأل سؤالًا أغنى: «بمعلومية البيانات، ما هو اعتقادي الكامل حول θ؟» فبدلًا من رقم واحد، تحصل على توزيع كامل، ويمكنك دمج ما كنت تعرفه مسبقًا.

ثلاثة مكوّنات. القَبْلي p(θ) هو اعتقادك قبل رؤية البيانات. والإمكان p(x|θ) هو مدى جودة تفسير كل θ للبيانات (الكائن نفسه كما في تقدير الإمكان الأقصى). وقاعدة بايز تجمعهما في البَعْدي p(θ|x):

اقرأها هكذا: الاعتقاد البَعْدي = مدى جودة تفسير θ للبيانات، مرجّحًا بمدى معقولية θ في البداية. ومع مزيد من البيانات يهيمن الإمكان ويمحو القَبْلي.

أين يظهر هذا في تعلّم الآلةالتنظيم هو هذه الفكرة في الاستخدام اليومي. إضافة جزاء L2 بمقدار λ‖β‖² إلى الخسارة هو بالضبط تقدير MAP مع قَبْلي غاوسي على الأوزان. يقول القَبْلي «الأوزان القريبة من الصفر أكثر معقولية». وإضافة جزاء L1 تقابل قَبْليًا لابلاسيًا، يفضّل الأوزان المتفرّقة. اضمحلال الأوزان ليس حيلة؛ إنه قَبْلي بايزي باسم مختلف.
▶ التقدير البايزي
← تقدير الإمكان الأقصى للتوزيعات الشائعةفترات الثقة →