Kovaryans ve Korelasyon

The mathematics of uncertainty

İki değişken birlikte mi hareket eder? Kovaryans bunu ölçer: ortalamalarından sapmalarının çarpımının ortalaması. Her ikisi de aynı anda ortalamanın üstünde (ya da ikisi de altında) olma eğilimindeyse, çarpımlar pozitiftir ve kovaryans pozitiftir.

Pozitif kovaryans birlikte yükseldikleri anlamına gelir. Negatif olması biri yükselirken diğerinin düştüğü anlamına gelir. Sıfır, her iki yönde de doğrusal bir eğilim olmadığı anlamına gelir. Ancak kovaryans karışık ve tuhaf birimlerdedir ve büyüklüğü ölçeğe bağlıdır, bu yüzden tek başına yorumlanması zordur.

Kovaryansı her iki standart sapmaya bölersen, her zaman −1 ile +1 arasında, temiz bir sayı olan korelasyon katsayısı ρ'yu elde edersin:

Bunun ML'deki yeriKovaryans matrisi Σᵢⱼ = Cov(Xᵢ, Xⱼ), bir öznitelik vektörünün tüm ikili kovaryanslarını paketler. PCA, en büyük varyans yönlerini bulmak için onu köşegenleştirir. Yüksek korelasyonlu girdi öznitelikleri çoklu doğrusallığa (multicollinearity) ve kararsız ağırlıklara yol açar; bir transformer'ın dikkat (attention) haritasındaki "neyin neye dikkat ettiği" örüntüsü ise, kabaca, token'lar arasında…
▶ Kovaryans ve Korelasyon
← Koşullu DağılımlarEntropi →