Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Pencari learning rate adalah pelatihan diagnostik singkat. Mulai dengan learning rate yang sangat kecil, naikkan secara bertahap selama banyak mini-batch, dan amati bagaimana loss meresponsnya.
Anda tidak sedang mencoba menyelesaikan pelatihan di sini; Anda sedang memburu rentang tempat model mulai belajar sebelum loss menjadi tidak stabil.
Exposure bracketing pada kamera memakai ide yang sama. Anda mengambil serangkaian jepretan dari terlalu gelap sampai terlalu terang, lalu memilih rentang tempat detail terlihat jelas. Pencari learning rate melakukan hal yang sama dengan langkah pelatihan, menyapu η dari yang penakut sampai yang sembrono dan menandai tempat pembelajaran menjadi tajam. Anda bisa memperagakan pencari manual pada gambar di bawah: jalankan dengan η kecil, naikkan sedikit, jalankan lagi. Di suatu titik, luncuran yang mulus berubah menjadi overshoot dan memantul-mantul, dan itulah tepi ledakan yang dicari sweep.