Phân phối Gaussian

Toán học của sự không chắc chắn

Phân phối Gaussian (chuẩn) xuất hiện nhiều hơn bất kỳ phân phối nào khác trong học máy. Đó là đường hình chuông trơn, đối xứng mà bạn thu được khi nhiều hiệu ứng nhỏ độc lập cộng dồn lại. Hai con số mô tả trọn vẹn nó: giá trị trung bình μ (vị trí của đỉnh) và phương sai σ² (độ rộng của chuông).

Công thức ít thành phần biến động hơn vẻ ngoài của nó. Phần cốt lõi là exp(−(x−μ)²/2σ²): khoảng cách tới giá trị trung bình, được bình phương rồi lấy dấu âm, nên mật độ giảm rất nhanh khi bạn rời xa μ. Phần phức tạp ở phía trước chỉ là hằng số để làm cho diện tích bằng 1.

Hãy kéo μ để trượt chuông sang trái/phải, và σ để nới rộng hay làm nhọn chuông. Một σ nhỏ cho ra một dáng cao và "tự tin"; một σ lớn trải niềm tin mỏng ra trên một phạm vi rộng.

Vị trí của nó trong MLLần đầu tiên một mạng chạm tới Gaussian là trước khi huấn luyện bắt đầu: khởi tạo trọng số được rút từ phân phối chuẩn có thang tỷ lệ theo kích thước lớp (khởi tạo He/Xavier). Các mô hình nhiễu giả định phần dư là Gaussian, khiến hồi quy bình phương tối thiểu trùng khớp với hàm hợp lý cực đại. Không gian ẩn của VAE dùng một tiên nghiệm Gaussian, và mẹo tái tham số hóa lấy mẫu z = μ + σ·ε với ε ~…
▶ Phân phối Gaussian
← Kỳ vọng & Phương sai (liên tục)Các phân phối liên tục chính →