גנרטיבי מול דיסקרימינטיבי — סטטיסטיקה

יש שתי דרכים שונות במהותן לבנות מסווג, והפיצול הזה חוצה את כל למידת המכונה. מודל דיסקרימינטיבי לומד ישירות את הגבול בין המחלקות. מודל גנרטיבי לומד כיצד כל מחלקה מייצרת את הנתונים שלה, וגוזר את הגבול כתוצר לוואי.

באופן פורמלי: מודל דיסקרימינטיבי אומד ישירות את ההסתברות המותנית p(y|x), ועונה על "בהינתן התכונות האלה, מהי התווית?" מודל גנרטיבי אומד את ההתפלגות המשותפת p(x, y) (לעיתים קרובות דרך p(x|y) וp(y)), ואז משתמש בכלל בייס כדי לקבל את p(y|x).

חשבו על שני תלמידי אמנות. האחד לומד לצייר חתול מאפס, ושולט באופן שבו פרווה, שפמים ואוזניים מתחברים יחד: זהו מודל גנרטיבי, הלומד כיצד כל מחלקה מייצרת את הנתונים שלה. השני לעולם אינו מצייר דבר אך הופך לגאון בזיהוי חתול מול כלב בכל תמונה: זהו מודל דיסקרימינטיבי, הלומד רק את הגבול בין המחלקות. הצייר יכול ליצור חתולים חדשים; המזהה פשוט מותח את הקו, ולרוב הוא חד יותר בכך.

איפה זה ב־MLהדיכוטומיה הזו מארגנת חלקים עצומים של ML. מסווג (רגרסיה לוגיסטית, רוב הרשתות העצביות) הוא דיסקרימינטיבי: p(y|x) ולא יותר מכך. VAE או מודל דיפוזיה הוא גנרטיבי: הוא לומד את p(x) מספיק טוב כדי לסנתז תמונות חדשות — דבר שמודל דיסקרימינטיבי אינו יכול. Naive Bayes מול רגרסיה לוגיסטית הוא הזוג הקלאסי מספרי הלימוד; VAE מול מסווג הוא ההד המודרני שלו בלמידה עמוקה.