התפלגות גאוסיאנית

המתמטיקה של אי־ודאות

הגאוסיאנית (נורמלית) מופיעה יותר מכל התפלגות אחרת בלמידת מכונה. זה הפעמון החלק, הסימטרי שמקבלים בכל פעם שהשפעות קטנות בלתי־תלויות רבות מתחברות. שני מספרים קובעים אותה לחלוטין: הממוצע μ (איפה הפסגה יושבת) והשונות σ² (כמה רחב הפעמון).

בנוסחה יש פחות חלקים נעים ממה שנדמה. הלב שלה הוא exp(−(x−μ)²/2σ²): המרחק מהממוצע, בריבוע, עם סימן שלילי, כך שהצפיפות יורדת במהירות ככל שמתרחקים מ־μ. הגורם שלפניו הוא פשוט הקבוע שהופך את השטח הכולל ל־1.

גרור את μ כדי להזיז את הפעמון שמאלה/ימינה ואת σ כדי להרחיב או לחדד אותו. σ קטן נותן קוץ גבוה ובטוח; σ גדול מפזר את האמונה בדלילות על טווח רחב.

איפה זה ב־MLהפעם הראשונה שרשת נוגעת בגאוסיאנית היא עוד לפני שהאימון מתחיל: אתחול המשקלים שולף מהתפלגות נורמלית שגודלה מותאם לגודל השכבה (אתחול He/Xavier). מודלי רעש מניחים שאריות גאוסיאניות, וזה מה שהופך רגרסיית ריבועים פחותים להתאמת נראות־מרבית. המרחב הסמוי של VAE הוא התפלגות קודמת גאוסיאנית, וטריק הפרמטריזציה־מחדש דוגם z = μ + σ·ε עם ε ~ N(0,1), וזה ה־z-score במהופך.
▶ התפלגות גאוסיאנית
← תוחלת ושונות (רציף)התפלגויות רציפות מרכזיות →