פרמטרים ואומדים

הסקה, אומדן וקבלת החלטות מנתונים

כמעט לכל שאלה סטטיסטית יש אותה צורה. קיים מספר אמיתי כלשהו בעולם שאי אפשר לראות, הפרמטר θ (ממוצע אמיתי, הסתברות הצלחה אמיתית). יש לך רק מדגם סופי של נתונים. מתוך נתונים אלה אתה מחשב ניחוש, האומד θ̂. אמידה היא אמנות בנייתם של ניחושים טובים והבנת מידת האמון שאפשר לתת בהם.

מכיוון שהנתונים אקראיים, θ̂ הוא בעצמו גודל אקראי: הרץ את הניסוי שוב, ותקבל θ̂ אחר. אנו שופטים אומד לפי שני דברים: ההטיה שלו (האם הוא נוחת על θ בממוצע?) והשונות שלו (עד כמה הוא קופץ ממדגם למדגם?).

אינכם יכולים לשתות את כל סיר המרק כדי לשפוט את התיבול, אז אתם בוחשים היטב וטועמים כף אחת. המליחות האמיתית של הסיר כולו היא הפרמטר θ שאינכם יכולים לראות ישירות; המליחות של הכף שלכם היא האומד θ̂. בחשו היטב קודם לכן וכף בודדת אומדת את הסיר כולו בצורה מרשימה — הבחישה הזו היא מה שהופך את המדגם למייצג.

איפה זה ב־MLהתאמת־חסר (underfitting) מול התאמת־יתר (overfitting) היא אותה פשרה בדיוק. פרמטרי המודל הם ה־θ̂, המותאמים מנתוני אימון סופיים. התאמת־חסר = הטיה גבוהה: המודל פשוט מדי מכדי לתפוס את האמת. התאמת־יתר = שונות גבוהה: המודל גמיש כל כך עד שהוא שינן את מדגם האימון המסוים, ומדגם חדש היה מניב פרמטרים שונים לחלוטין. בחירת מורכבות המודל היא בחירת נקודה על פשרה זו.
▶ פרמטרים ואומדים
← קשרים בין משתניםאומד נראות מרבית →