Covarianza y correlación

Las matemáticas de la incertidumbre

¿Dos variables se mueven juntas? La covarianza lo mide: es el promedio del producto de sus desviaciones respecto a sus medias. Cuando ambas tienden a estar por encima (o por debajo) de la media al mismo tiempo, los productos son positivos y la covarianza también.

Una covarianza positiva significa que suben juntas. Una negativa indica que mientras una sube, la otra baja. Cero significa que no hay tendencia lineal en ninguna dirección. Pero la covarianza está en unidades mixtas y su tamaño depende de la escala, por lo que es difícil interpretarla por sí sola.

Divide la covarianza entre ambas desviaciones estándar y obtienes el coeficiente de correlación ρ, un número limpio siempre entre −1 y +1:

Dónde aparece en el MLLa matriz de covarianza Σᵢⱼ = Cov(Xᵢ, Xⱼ) agrupa todas las covarianzas en pares de un vector de características. PCA diagonaliza para encontrar las direcciones de mayor varianza. Características de entrada altamente correlacionadas causan multicolinealidad y pesos inestables, y la estructura de "qué atiende a qué" en el mapa de atención de un transformer es, en general, una estructura de…
▶ Covarianza y correlación
← Distribuciones CondicionesalesEntropía →