Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Hyperparameter adalah pilihan pelatihan yang disetel di luar parameter yang dipelajari: learning rate, batch size, weight decay, panjang warmup, dropout, lebar model, dan banyak lainnya.
Pencarian hyperparameter adalah proses mencoba berbagai konfigurasi tanpa menipu diri sendiri. Tujuannya bukan menemukan pelatihan yang beruntung. Tujuannya adalah menemukan pengaturan yang bekerja secara andal pada data validasi.
Kartu contoh warna cat membuat ide pencarian ini konkret. Anda tidak mengecat ulang seluruh ruangan untuk setiap kemungkinan warna. Anda menguji satu set contoh yang terstruktur, mempersempit rentangnya, lalu mencoba corak yang paling menjanjikan di bawah cahaya yang tepat. Pencarian hyperparameter mempersempit pilihan pelatihan dengan cara yang sama. Gambar di bawah menunjukkan mesin yang menilai setiap contoh: fold validasi yang berotasi, sehingga setiap pengaturan kandidat dinilai pada data yang belum pernah dilatih olehnya. Penilaian yang jujur itulah yang membedakan pencarian dari sekadar pelatihan yang beruntung.