Distribuzione gaussiana

La matematica dell'incertezza

La distribuzione gaussiana (normale) compare nel machine learning più di ogni altra. È la campana liscia e simmetrica che si ottiene quando si sommano molti piccoli effetti indipendenti. Due numeri la determinano completamente: la media μ (dove si trova il picco) e la varianza σ² (quanto è larga la campana).

La formula ha meno elementi in gioco di quanto sembri. Il cuore è exp(−(x−μ)²/2σ²): la distanza dalla media, elevata al quadrato e resa negativa, così che la densità cali rapidamente man mano che ci si allontana da μ. Il fattore che precede è solo la costante che fa sì che l'area sia uguale a 1.

Trascina μ per spostare la campana a sinistra o a destra e σ per allargarla o stringerla. Un σ piccolo dà un picco alto e concentrato; un σ grande distribuisce la credenza su un intervallo ampio.

Dove si trova nel MLLa prima volta che una rete incontra una gaussiana è ancora prima che inizi l'addestramento: l'inizializzazione dei pesi estrae da una normale scalata in base alla dimensione dello strato (inizializzazione He/Xavier). I modelli di rumore assumono residui gaussiani, ed è questo che rende la regressione ai minimi quadrati il fit a massima verosimiglianza. Lo spazio latente di un VAE ha un prior…
▶ Distribuzione gaussiana
← Attesa e Varianza (continue)Distribuzioni Continue Chiave →