תוחלת ושונות (רציף)

המתמטיקה של אי־ודאות

כל מה שלמדת על תוחלת ושונות עובר גם למשתנים רציפים. פשוט מחליפים את הסכום באינטגרל. משקל ה־PMF p(x) הופך לצפיפות f(x) dx, ו"לסכום על כל הערכים" הופך ל"לאנטגרל על הישר".

האינטואיציה זהה: E[X] עדיין נקודת האיזון של מסת הצפיפות, והשונות עדיין המרחק הריבועי הממוצע מאותה נקודה. לינאריות התוחלת וכלל ההכפלה Var(aX+b)=a²Var(X) שורדים ללא שינוי.

חשבו על נדנדה עם משקל שמרוח באופן לא אחיד לאורך הקרש במקום לשבת בנקודה אחת. הנקודה היחידה שבה היא מתאזנת היא E[X], הממוצע של הצפיפות. עד כמה המשקל מושלך החוצה מאותו ציר, נמדד כמרחק ריבועי ממוצע, הוא Var(X): משקל מקובץ קרוב למרכז פירושו שונות קטנה, משקל שנדחף לקצוות הרחוקים פירושו שונות גדולה.

איפה זה ב־MLתוחלות רציפות הן אינטגרלים, ואינטגרלים על מרחבים ממימד גבוה בדרך כלל בלתי־פתירים. אז ML נשען על אומדן מונטה־קרלו: מקרב את E[g(X)] = ∫ g(x)f(x)dx בממוצע (1/n) Σ g(xᵢ) על דגימות xᵢ שנשלפות מ־f. כל "תגמול צפוי" ב־RL וכל איבר ELBO ב־VAE הוא אחד מהאינטגרלים האלה, מוערך על ידי דגימה.
▶ תוחלת ושונות (רציף)
← PDF ו־CDFהתפלגות גאוסיאנית →