Covariantie & correlatie

De wiskunde van onzekerheid

Bewegen twee variabelen samen? Covariantie meet dat: het gemiddelde product van hun afwijkingen van hun gemiddelden. Wanneer beide op hetzelfde moment boven (of beide onder) gemiddeld neigen te liggen, zijn de producten positief en is de covariantie positief.

Positieve covariantie betekent dat ze samen stijgen. Negatief betekent dat de ene stijgt terwijl de andere daalt. Nul betekent geen lineaire neiging in welke richting dan ook. Maar covariantie heeft onhandige gemengde eenheden en zijn grootte hangt af van de schaal, dus het is op zichzelf moeilijk te interpreteren.

Deel covariantie door beide standaardafwijkingen en je krijgt de correlatiecoëfficiënt ρ, een schoon getal dat altijd tussen −1 en +1 ligt:

Waar dit voorkomt in MLDe covariantiematrix Σᵢⱼ = Cov(Xᵢ, Xⱼ) verpakt alle paarsgewijze covarianties van een kenmerkvector. PCA diagonaliseert haar om de richtingen van grootste variantie te vinden. Sterk gecorreleerde inputkenmerken veroorzaken multicollineariteit en instabiele gewichten, en het patroon van "wat let op wat" in de aandachtskaart van een transformer is, losjes gezien, een geleerde correlatiestructuur…
▶ Covariantie & correlatie
← Voorwaardelijke verdelingenEntropie →