Tham số & ước lượng — Thống kê · Mathematics for Machine Learning

Hầu hết mọi câu hỏi thống kê đều có cùng một dạng. Tồn tại một con số thực nào đó trong thế giới mà bạn không thể nhìn thấy, tham số θ (trung bình thực, xác suất thành công thực). Bạn chỉ có một mẫu dữ liệu hữu hạn. Từ dữ liệu đó, bạn tính ra một ước lượng, ước lượng tử θ̂. Ước lượng là nghệ thuật tạo ra những phỏng đoán tốt và biết được mức độ tin cậy của chúng.

Vì dữ liệu là ngẫu nhiên nên bản thân θ̂ là một đại lượng ngẫu nhiên: chạy lại thí nghiệm, bạn được θ̂ khác. Ta đánh giá một ước lượng tử dựa trên hai điều: độ chệch (trung bình nó có trúng θ không?) và phương sai (nó dao động bao nhiêu giữa các mẫu?).

Bạn không thể uống cả nồi súp để phán đoán gia vị mà phải khuấy đều và nếm thử một thìa. Độ mặn thực sự của toàn bộ nồi là thông số θ bạn không thể nhìn thấy trực tiếp; độ mặn của thìa của bạn là thước đo θ̂. Trước tiên hãy khuấy kỹ và chỉ một thìa sẽ đánh giá rất tốt toàn bộ nồi — rằng việc khuấy chính là yếu tố tạo nên tính đại diện của mẫu.

Vị trí của nó trong MLThiếu khớp và quá khớp chính là cùng một sự đánh đổi đó. Các tham số của mô hình là θ̂, được khớp với dữ liệu huấn luyện hữu hạn. Thiếu khớp = độ chệch cao: mô hình quá đơn giản để nắm bắt sự thật. Quá khớp = phương sai cao: mô hình quá linh hoạt, nó ghi nhớ chính tập huấn luyện cụ thể, và một mẫu mới sẽ cho ra các tham số khác hẳn. Chọn độ phức tạp của mô hình chính là chọn một điểm trên đường…