Kovarianz & Korrelation

Die Mathematik der Unsicherheit

Bewegen sich zwei Variablen gemeinsam? Die Kovarianz misst es: das durchschnittliche Produkt ihrer Abweichungen von ihren Mittelwerten. Wenn beide gleichzeitig dazu neigen, über (oder beide unter) dem Durchschnitt zu liegen, sind die Produkte positiv und die Kovarianz ist positiv.

Eine positive Kovarianz bedeutet, dass sie gemeinsam steigen. Eine negative bedeutet, dass die eine steigt, während die andere fällt. Null bedeutet keine lineare Tendenz in irgendeine Richtung. Aber die Kovarianz hat unhandlich gemischte Einheiten und ihre Größe hängt vom Maßstab ab, sodass sie für sich allein schwer zu interpretieren ist.

Dividiert man die Kovarianz durch beide Standardabweichungen, erhält man den Korrelationskoeffizienten ρ, eine saubere Zahl, die stets zwischen −1 und +1 liegt:

Wo das im ML vorkommtDie Kovarianzmatrix Σᵢⱼ = Cov(Xᵢ, Xⱼ) bündelt alle paarweisen Kovarianzen eines Merkmalsvektors. Die PCA diagonalisiert sie, um die Richtungen größter Varianz zu finden. Stark korrelierte Eingabemerkmale verursachen Multikollinearität und instabile Gewichte, und das Muster von „was worauf achtet“ in der Attention-Map eines Transformers ist, grob gesagt, eine erlernte Korrelationsstruktur über…
▶ Kovarianz & Korrelation
← Bedingte VerteilungenEntropie →