Covarianza e Correlazione

La matematica dell'incertezza

Due variabili si muovono insieme? La covarianza lo misura: il prodotto medio delle loro deviazioni dalle rispettive medie. Quando entrambe tendono a essere sopra (o entrambe sotto) la media contemporaneamente, i prodotti sono positivi e la covarianza è positiva.

Una covarianza positiva significa che crescono insieme. Negativa significa che una cresce mentre l'altra cala. Zero significa nessuna tendenza lineare in nessuna delle due direzioni. Ma la covarianza ha unità di misura miste e scomode e la sua grandezza dipende dalla scala, quindi è difficile da interpretare da sola.

Dividi la covarianza per entrambe le deviazioni standard e ottieni il coefficiente di correlazione ρ, un numero pulito sempre tra −1 e +1:

Dove si trova nel MLLa matrice di covarianza Σᵢⱼ = Cov(Xᵢ, Xⱼ) raccoglie tutte le covarianze a coppie di un vettore di feature. La PCA la diagonalizza per trovare le direzioni di massima varianza. Feature di input fortemente correlate causano multicollinearità e pesi instabili, e lo schema di "cosa presta attenzione a cosa" nella attention map di un transformer è, in senso lato, una struttura di correlazione appresa…
▶ Covarianza e Correlazione
← Distribuzioni CondizionaliEntropia →