Covariância e Correlação

A matemática da incerteza

Será que duas variáveis se movem juntas? A covariância mede precisamente isso: o produto médio dos seus desvios em relação às respetivas médias. Quando ambas tendem a estar acima (ou ambas abaixo) da média ao mesmo tempo, os produtos são positivos e a covariância é positiva.

Uma covariância positiva significa que sobem juntas. Negativa significa que uma sobe enquanto a outra desce. Zero significa que não há tendência linear em nenhum sentido. Mas a covariância vem em unidades mistas desconfortáveis e a sua grandeza depende da escala, por isso é difícil de interpretar isoladamente.

Divide a covariância por ambos os desvios-padrão e obténs o coeficiente de correlação ρ, um número limpo sempre entre −1 e +1:

Onde isto aparece no MLA matriz de covariância Σᵢⱼ = Cov(Xᵢ, Xⱼ) reúne todas as covariâncias par a par de um vetor de atributos. A PCA diagonaliza-a para encontrar as direções de maior variância. Atributos de entrada fortemente correlacionados causam multicolinearidade e pesos instáveis, e o padrão de "quem presta atenção a quem" num mapa de atenção de um transformer é, em termos vagos, uma estrutura de correlação…
▶ Covariância e Correlação
← Distribuições CondicionaisEntropia →