Kỳ vọng — Xác suất · Mathematics for Machine Learning

Kỳ vọng của một biến ngẫu nhiên là giá trị trung bình về lâu dài của nó: giá trị mà bạn sẽ hội tụ tới nếu lặp lại phép thử vô số lần rồi lấy trung bình các kết quả. Đó là trung bình có trọng số của các giá trị có thể có, mỗi giá trị được cân theo khả năng xảy ra của nó:

Hãy hình dung PMF như một tập các quả cân đặt dọc theo thước; E[X] chính là điểm cân bằng. Nó không nhất thiết là một giá trị mà X thực sự có thể nhận. Một con xúc xắc cân đối có kỳ vọng là 3,5, dù không mặt nào ghi số 3,5.

Hãy tưởng tượng một máy đánh bạc mà bạn nạp hàng nghìn lần. Trong bất kỳ lần rút nào, bạn có thể thắng lớn hoặc mất xu, nhưng máy có mức thanh toán trung bình dài hạn cố định cho mỗi lần chơi và con số đó là E[X]. Đó là giá trị ổn định mà mức trung bình của bạn tăng dần khi số lượt chơi tăng lên, mặc dù không có vòng quay nào chạm chính xác vào nó.

Vị trí của nó trong MLHuấn luyện chính là cực tiểu hóa mất mát kỳ vọng E_D[L(θ)], tức hàm mất mát trung bình trên phân phối dữ liệu. Ta không thể tính chính xác kỳ vọng đó, nên ước lượng nó bằng trung bình trên một mẫu hữu hạn (tập huấn luyện) và trên một lô nhỏ ở mỗi bước gradient. Tính tuyến tính của kỳ vọng chính là lý do gradient trung bình trên một lô là ước lượng không chệch của gradient thật.