Ước lượng hợp lý cực đại — Thống kê

Nếu phải chọn một giá trị duy nhất cho tham số θ, thì quy tắc tự nhiên nhất là: chọn θ làm cho dữ liệu mà bạn thực sự quan sát được trở nên dễ xảy ra nhất. Đó là ước lượng hợp lý cực đại (MLE), nguyên tắc đứng sau việc huấn luyện gần như mọi mô hình trong ML.

Cho dữ liệu x₁, …, xₙ được giả định độc lập, xác suất của toàn bộ mẫu là tích các xác suất trên từng điểm. Coi như một hàm của θ, tích này là hàm hợp lý:

Nhân nhiều xác suất nhỏ với nhau sẽ tràn về 0 và rất khó phân biệt. Cách khắc phục là lấy log: log của một tích là tổng, và log là hàm tăng nên không làm dịch chuyển điểm cực đại. Ta cực đại hóa hàm log-hợp lý:

Vị trí của nó trong MLHuấn luyện một mô hình chính là hợp lý cực đại. Tối thiểu hóa mất mát cross-entropy chính xác là cực đại hóa log-hợp lý của các nhãn; cross-entropy chính là log-hợp lý âm. Tối thiểu hóa sai số bình phương trung bình là MLE dưới giả định nhiễu Gauss. Khi bạn gọi .backward() và thực hiện một bước tối ưu, bạn đang leo lên bề mặt log-hợp lý ở trên, chỉ có điều trong hàng triệu chiều.