التوليدي مقابل التمييزي — الإحصاء

الاستدلال والتقدير واتخاذ القرار من البيانات

هناك طريقتان مختلفتان جوهريًا لبناء مُصنِّف، والانقسام يسري عبر كل تعلّم الآلة. يتعلّم النموذج التمييزي الحدّ بين الأصناف مباشرةً. أما النموذج التوليدي فيتعلّم كيف يُولّد كل صنف بياناته، ويشتقّ الحدّ كنتيجة جانبية.

بصيغة رسمية: يُقدّر النموذج التمييزي الاحتمال الشرطي p(y|x) مباشرةً، مجيبًا عن "بالنظر إلى هذه السمات، أيّ تسمية؟" ويُقدّر النموذج التوليدي الاحتمال المشترك p(x, y) (غالبًا عبر p(x|y) وp(y))، ثم يستخدم قاعدة بايز للحصول على p(y|x).

فكر في طالبين من طلاب الفنون. يتعلم أحدهما رسم قطة من الصفر، متقنًا كيف يجتمع الفرو والشوارب والأذنان معًا: هذا هو النموذج التوليدي، الذي يتعلم كيف تُنتج كل فئة بياناتها. الآخر لا يرسم أي شيء أبدًا ولكنه يصبح بارعًا في تمييز القطة عن الكلب في أي صورة: هذا هو النموذج التمييزي، الذي لا يتعلم سوى الحد الفاصل بين الفئات. يمكن للرسام إنشاء قطط جديدة؛ بينما يرسم المميز الحد فقط، وغالبًا ما يكون أكثر دقة في القيام بذلك.

أين يظهر هذا في تعلّم الآلةتنظّم هذه الثنائية مساحات شاسعة من تعلّم الآلة. المُصنِّف (الانحدار اللوجستي، ومعظم الشبكات العصبية) تمييزي: p(y|x) ولا شيء أكثر. أما المُرمِّز التلقائي المتغيّر (VAE) أو نموذج الانتشار (diffusion) فتوليدي: يتعلّم p(x) بما يكفي لتركيب صور جديدة، وهو ما لا يستطيعه مُميّز. بايز الساذج مقابل الانحدار اللوجستي هو الزوج الكلاسيكي في الكتب؛ وVAE مقابل المُصنِّف هو صداه الحديث في التعلّم العميق.