שונות משותפת ותיאמה

המתמטיקה של אי־ודאות

האם שני משתנים זזים יחד? שונות משותפת מודדת זאת: המכפלה הממוצעת של סטיותיהם מהממוצעים. כששניהם נוטים להיות מעל (או שניהם מתחת) לממוצע בו זמנית, המכפלות חיוביות והשונות המשותפת חיובית.

שונות משותפת חיובית אומרת שהם עולים יחד. שלילית אומרת שאחד עולה כשהשני יורד. אפס אומר אין נטייה לינארית לאף כיוון. אבל שונות משותפת ביחידות מעורבות מגושמות וגודלה תלוי בסקלה, אז קשה לפרש אותה לבד.

חלק שונות משותפת בשתי סטיות התקן ומקבל מקדם תיאמה ρ, מספר נקי תמיד בין −1 ל־+1:

איפה זה ב־MLמטריצת השונות המשותפת Σᵢⱼ = Cov(Xᵢ, Xⱼ) אורזת יחד את כל השונויות המשותפות הזוגיות של וקטור תכונות. PCA מאלכסן אותה כדי למצוא את הכיוונים בעלי השונות הגדולה ביותר. תכונות קלט מתואמות מאוד גורמות למולטיקולינאריות ולמשקלים לא יציבים, והתבנית של "מה שׂם לב למה" במפת תשומת הלב של טרנספורמר היא, באופן רופף, מבנה תיאמה נלמד על פני הטוקנים.
▶ שונות משותפת ותיאמה
← התפלגויות מותנותאנטרופיה →