Hiệp phương sai & tương quan

Toán học của sự không chắc chắn

Hai biến có cùng biến thiên với nhau không? Hiệp phương sai đo lường điều đó: tích trung bình của các độ lệch so với giá trị trung bình của mỗi biến. Khi cả hai cùng có xu hướng ở trên (hoặc cùng ở dưới) giá trị trung bình một lúc, tích sẽ dương và hiệp phương sai là dương.

Hiệp phương sai dương nghĩa là chúng cùng tăng. Âm nghĩa là biến này tăng khi biến kia giảm. Bằng không nghĩa là không có xu hướng tuyến tính. Nhưng hiệp phương sai có đơn vị hỗn hợp khó diễn giải và độ lớn của nó phụ thuộc vào thang đo, nên tự thân nó khó được hiểu trực tiếp.

Chia hiệp phương sai cho cả hai độ lệch chuẩn, bạn nhận được hệ số tương quan ρ, một con số gọn gàng luôn nằm trong khoảng từ −1 đến +1:

Vị trí của nó trong MLMa trận hiệp phương sai Σᵢⱼ = Cov(Xᵢ, Xⱼ) đóng gói toàn bộ các hiệp phương sai theo cặp của một vectơ đặc trưng. PCA chéo hóa ma trận này để tìm các hướng có phương sai lớn nhất. Các đặc trưng đầu vào tương quan cao gây ra hiện tượng đa cộng tuyến và trọng số bất ổn định; còn mô hình "cái gì liên quan đến cái gì" trong bản đồ chú ý (attention) của transformer, một cách nôm na, là một cấu trúc…
▶ Hiệp phương sai & tương quan
← Phân phối có điều kiệnEntropy →