תוחלת

המתמטיקה של אי־ודאות

התוחלת של משתנה מקרי היא הממוצע לטווח ארוך: הערך שהיית מתכנס אליו אם היית חוזר על הניסוי לנצח וממצע את התוצאות. זה ממוצע משוקלל של הערכים האפשריים, כל אחד משוקלל לפי כמה שהוא סביר:

חשוב על ה־PMF כסט משקולות על סרגל; E[X] הוא נקודת האיזון. הוא לא חייב להיות ערך ש־X יכול באמת לקבל. קובייה הוגנת ממוצעת ל־3.5, שאף פאה לא מראה.

דמיינו מכונת מזל שאתם מזינים אלפי פעמים. במשיכה בודדת כלשהי אתם עשויים לזכות בגדול או להפסיד את המטבע שלכם, אך למכונה יש תשלום ממוצע קבוע לטווח ארוך לכל משחק, והמספר הזה הוא E[X]. זהו הערך היציב שהממוצע שלכם זוחל אליו ככל שהמשחקים מצטברים, למרות שאף סיבוב בודד לא נוחת עליו בדיוק.

איפה זה ב־MLאימון ממזער הפסד צפוי E_D[L(θ)], ההפסד הממוצע על פני התפלגות הנתונים. אי אפשר לחשב את התוחלת הזו במדויק, אז מקרבים אותה בממוצע על מדגם סופי (מערך האימון), ועל mini-batch לכל צעד גרדיאנט. לינאריות התוחלת היא למה הגרדיאנט הממוצע על batch הוא אומד לא מוטה של הגרדיאנט האמיתי.
▶ תוחלת
← משתנים מקרייםשונות →