Các đại lượng đo độ phân tán — Thống kê

Một thước đo trung tâm cho bạn biết dữ liệu nằm ở đâu; độ phân tán cho bạn biết nó dao động bao nhiêu quanh tâm đó. Hai tập dữ liệu có thể có cùng trung bình mà vẫn khác nhau một trời một vực: một tập co cụm chặt, một tập trải khắp nơi. Độ phân tán chính là sự khác biệt đó.

Đại lượng then chốt là phương sai: bình phương khoảng cách trung bình so với giá trị trung bình. Căn bậc hai của nó, độ lệch chuẩn, có cùng đơn vị với dữ liệu nên dễ diễn giải hơn.

Hai lớp thực hiện cùng một bài kiểm tra và cả hai đều đạt điểm trung bình 72, vì vậy trên giấy tờ chúng trông giống hệt nhau. Nhưng lớp A đạt điểm 70, 72, 74 (mọi người tập trung lại) trong khi lớp B đạt điểm 50, 72, 94 (rải rác). Cùng một trung tâm, những câu chuyện hoàn toàn khác nhau: mức độ lan truyền chính xác là con số phân biệt chúng.

Vị trí của nó trong MLĐộ phân tán hiện diện ở khắp nơi trong ML. Phương sai của gradient trên một lô nhỏ chi phối mức độ nhiễu của mỗi bước huấn luyện; phương sai cao nghĩa là đường cong mất mát giật cục. Và khi bạn báo cáo độ chính xác của mô hình, chính độ lệch chuẩn qua các hạt giống ngẫu nhiên cho bạn biết liệu mức cải thiện "+0,3%" là thật hay chỉ là nhiễu. Một kết quả không kèm độ phân tán chỉ là nửa kết quả.