Ковариация и корелация — Вероятност

Движат ли се две променливи заедно? Ковариацията (Covariance) измерва точно това: средното произведение от техните отклонения от съответните им средни стойности. Когато и двете величини едновременно са склонни да бъдат над (или и двете под) средната си стойност, произведенията са положителни и следователно ковариацията е положителна.

Положителна ковариация означава, че величините нарастват заедно. Отрицателна означава, че едната нараства, докато другата намалява. Нулева ковариация означава липса на каквато и да е линейна тенденция. Ковариацията обаче има неудобни смесени мерни единици и стойността ѝ зависи от мащаба на данните, което я прави трудна за интерпретиране сама по себе си.

Разделете ковариацията на произведението от двете стандартни отклонения и ще получите коефициента на корелация ρ – безразмерна величина, която винаги е между −1 и +1:

Къде се използва това в MLКовариационната матрица Σᵢⱼ = Cov(Xᵢ, Xⱼ) съдържа всички ковариации по двойки за даден вектор от признаци (features). PCA (Анализ на главните компоненти) я диагонализира, за да намери посоките на най-голяма дисперсия (разсейване). Силно корелираните входни признаци причиняват мултиколинеарност и водят до нестабилни тегла на модела, а моделът на „кое обръща внимание на кое“ в attention картите на…