Luật số lớn

Toán học của sự không chắc chắn

Tung một đồng xu cân bằng mười lần, bạn có thể được 7 mặt ngửa. Tung nó mười nghìn lần thì tỷ lệ mặt ngửa sẽ bám sát 0,5 một cách đáng kinh ngạc. Đó là luật số lớn: khi bạn thu thập càng nhiều dữ liệu, giá trị trung bình mẫu sẽ hội tụ về kỳ vọng thực.

Tính ngẫu nhiên không biến mất và từng kết quả riêng lẻ vẫn không đoán trước được, nhưng trung bình của nhiều kết quả thì ổn định lại. Luật yếu phát biểu rằng sự hội tụ này là "theo xác suất": với bất kỳ dung sai nào, xác suất để trung bình lệch nhiều hơn dung sai đó sẽ giảm về 0 khi n tăng.

Nhấn Run trong hình để tung từng đồng xu một và xem đường trung bình chạy dao động dữ dội lúc đầu, rồi co lại quanh giá trị trung bình thực ở đường nét đứt. Càng nhiều mẫu, hội tụ càng chặt.

Vị trí của nó trong MLLuật số lớn là điều khiến huấn luyện theo mini-batch hoạt động được. Gradient thực là kỳ vọng trên toàn bộ phân phối dữ liệu; một gradient mini-batch là trung bình mẫu của nó. Theo luật số lớn, trung bình đó xấp xỉ gradient thực và càng chính xác hơn với batch lớn hơn. Mọi ước lượng Monte Carlo trong ML (phần thưởng kỳ vọng, số hạng ELBO, rủi ro thực nghiệm) đều dựa vào luật này để biện minh cho…
▶ Luật số lớn
← Thông tin tương hỗĐịnh lý giới hạn trung tâm →