Phân phối của dữ liệu

Suy luận, ước tính và ra quyết định từ dữ liệu

Một thước đo trung tâm duy nhất và một độ phân tán duy nhất chỉ là hai con số. Toàn bộ hình dạng của dữ liệu (tức phân phối của nó) còn cho ta biết nhiều hơn thế. Cách nhanh nhất để nhìn thấy nó là biểu đồ tần suất: chia khoảng giá trị thành các khoảng nhỏ rồi đếm xem bao nhiêu giá trị rơi vào mỗi khoảng. Phiên bản đã làm mượt là biểu đồ mật độ.

Khi đã nhìn thấy hình dạng, có hai câu hỏi quan trọng: nó đối xứng hay lệch, và đuôi của nó nặng hay nhẹ?

Độ lệch đo lường sự bất đối xứng. Phân phối lệch phải (dương) có một đuôi dài kéo về bên phải: thu nhập, thời gian chờ, kích thước tệp. Phân phối lệch trái có đuôi kéo về bên trái. Với hình dạng lệch phải, trung bình nằm về bên phải của trung vị, bị đuôi kéo ra.

Vị trí của nó trong MLHình dạng phân phối chi phối những quyết định ML thực sự. Phân phối của các giá trị kích hoạt bên trong mạng có thể trôi dạt và phát triển đuôi nặng, đó là lý do tồn tại các kỹ thuật chuẩn hóa theo lô/theo lớp. Phân phối của mất mát qua các lô cho thấy mô hình của bạn thất bại đều khắp hay nghẹn lại ở một số ít ví dụ khó. Và đuôi nặng chính là lý do mất mát vững chắc (Huber) và cắt ngưỡng…
▶ Phân phối của dữ liệu
← Các đại lượng đo độ phân tánMối quan hệ giữa các biến →