Covariance & Corrélation

Les mathématiques de l'incertitude

Deux variables bougent-elles ensemble ? La covariance le mesure : le produit moyen de leurs écarts à leurs moyennes. Quand les deux tendent à être au-dessus (ou toutes deux en dessous) de la moyenne en même temps, les produits sont positifs et la covariance est positive.

Une covariance positive signifie qu'elles montent ensemble. Négative signifie que l'une monte quand l'autre descend. Zéro signifie aucune tendance linéaire dans un sens ou l'autre. Mais la covariance est dans des unités mixtes peu pratiques et sa taille dépend de l'échelle, donc elle est difficile à interpréter seule.

Divisez la covariance par les deux écarts-types et vous obtenez le coefficient de corrélation ρ, un nombre net toujours entre −1 et +1 :

Où cela apparaît en MLLa matrice de covariance Σᵢⱼ = Cov(Xᵢ, Xⱼ) regroupe toutes les covariances par paires d'un vecteur de features. La PCA la diagonalise pour trouver les directions de plus grande variance. Des features d'entrée fortement corrélées causent de la multicolinéarité et des poids instables, et le motif de « qui prête attention à quoi » dans la carte d'attention d'un transformer est, en gros, une…
▶ Covariance & Corrélation
← Distributions ConditionnellesEntropie →