Định lý giới hạn trung tâm

Toán học của sự không chắc chắn

Luật số lớn cho biết trung bình mẫu hội tụ về μ. Nhưng nó đi đến đó như thế nào, và phần dao động còn sót lại trông ra sao? Định lý giới hạn trung tâm đưa ra một câu trả lời đáng kinh ngạc: phần dao động luôn là phân phối Gauss, bất kể bạn xuất phát từ phân phối nào.

Trung bình của đủ nhiều mẫu độc lập, sau khi được chuẩn hóa, tuân theo phân phối chuẩn, ngay cả khi các mẫu gốc là những lần tung đồng xu, tung xúc xắc, hay một phân phối lệch nào đó. Đây là lý do đường cong hình chuông xuất hiện khắp nơi: bất cứ thứ gì là tổng của nhiều hiệu ứng nhỏ độc lập đều kết thúc ở phân phối Gauss.

Hình này lấy trung bình n lần tung xúc xắc đều và vẽ biểu đồ tần suất của kết quả qua nhiều lần thử. Tại n = 1 biểu đồ phẳng (phân phối đều); tăng n lên và một đường chuông xuất hiện như từ hư không — định lý giới hạn trung tâm dựng nên một Gauss từ một nguồn không phải Gauss.

Vị trí của nó trong MLĐịnh lý giới hạn trung tâm giải thích cấu trúc nhiễu của tối ưu hóa ngẫu nhiên. Gradient mini-batch là trung bình trên các ví dụ trong batch, nên theo định lý này, sai số của nó quanh gradient thực xấp xỉ Gauss với độ phân tán σ/√(batch size). Đó là lý do nhiễu gradient trông như chuẩn, lý do batch lớn hơn cho các bước mượt hơn một cách tương ứng (nhưng chỉ tốt hơn theo √n), và lý do thanh sai số…
▶ Định lý giới hạn trung tâm
← Luật số lớnCác đại lượng đo xu hướng trung tâm →