Kỳ vọng & Phương sai (liên tục) — Xác suất

Mọi điều bạn đã học về kỳ vọng và phương sai đều áp dụng được cho các biến liên tục. Bạn chỉ cần đổi tổng thành tích phân. Khối lượng PMF p(x) trở thành mật độ f(x) dx, và "cộng trên tất cả các giá trị" trở thành "lấy tích phân trên trục số".

Trực giác hoàn toàn giống nhau: E[X] vẫn là điểm cân bằng của khối lượng mật độ, và phương sai vẫn là khoảng cách bình phương trung bình tới điểm đó. Tính tuyến tính và quy tắc co giãn Var(aX+b)=a²Var(X) đều không thay đổi.

Hãy nghĩ đến một chiếc bập bênh với trọng lượng dồn không đều dọc theo tấm ván thay vì ngồi tại một điểm. Điểm duy nhất mà nó cân bằng là E[X], giá trị trung bình của mật độ. Khoảng cách trọng lượng văng ra khỏi trục đó, được đo bằng khoảng cách bình phương trung bình, là Var(X): trọng lượng dồn lại gần tâm có nghĩa là phương sai nhỏ, trọng lượng được đẩy về phía xa có nghĩa là phương sai lớn.

Vị trí của nó trong MLKỳ vọng liên tục là một tích phân, và tích phân trong không gian nhiều chiều thường rất khó xử lý. Vì vậy ML dựa vào ước lượng Monte Carlo: xấp xỉ E[g(X)] = ∫ g(x)f(x)dx bằng trung bình (1/n) Σ g(xᵢ) trên các mẫu xᵢ rút ra từ f. Mọi "phần thưởng kỳ vọng" trong học tăng cường và mọi số hạng ELBO trong VAE đều là một trong những tích phân kiểu này, được ước lượng bằng cách lấy mẫu.