Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Siêu tham số là những lựa chọn huấn luyện được đặt ra bên ngoài các tham số học được: tốc độ học, kích thước batch, suy giảm trọng số, độ dài khởi động, dropout, độ rộng mô hình, và nhiều thứ khác.
Tìm kiếm siêu tham số là quá trình thử các cấu hình mà không tự đánh lừa bản thân. Mục tiêu không phải là tìm một lượt chạy may mắn. Mục tiêu là tìm một thiết lập hoạt động đáng tin cậy trên dữ liệu kiểm định.
Những thẻ mẫu sơn khiến ý tưởng tìm kiếm trở nên cụ thể. Bạn không sơn lại cả căn phòng cho mọi màu có thể. Bạn thử một tập hợp mẫu có cấu trúc, thu hẹp phạm vi, rồi thử những sắc độ triển vọng nhất dưới đúng ánh sáng. Tìm kiếm siêu tham số thu hẹp các lựa chọn huấn luyện theo cùng cách đó. Hình bên dưới cho thấy bộ máy chấm điểm cho mỗi mẫu: xoay vòng các fold kiểm định, để mỗi thiết lập ứng viên được đánh giá trên dữ liệu nó chưa từng huấn luyện. Cách chấm điểm trung thực đó chính là điều phân biệt một cuộc tìm kiếm với một lượt chạy may mắn.