Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Lab optimizer membandingkan optimizer di bawah kondisi yang terkendali. Jalankan model, data, batch size, anggaran jadwal, dan rencana seed yang sama, lalu ubah optimizer atau satu pengaturan optimizer.
Tanpa kendali itu, perbandingan optimizer hanya menjadi cerita. Pelatihan yang lebih cepat mungkin menggunakan learning rate yang lebih baik, jadwal yang berbeda, atau seed yang lebih beruntung.
Hari uji di lintasan balap punya aturan untuk ini. Jika Anda membandingkan dua mobil, Anda menjaga lintasan, ban, muatan bahan bakar, dan cuaca sekonstan mungkin. Jika tidak, Anda tidak bisa memastikan apakah mobilnya yang lebih cepat atau kondisinya yang lebih mudah. Gambar di bawah adalah bangku lab mini: permukaan terentang yang sama di setiap pelatihan, dengan η, β, dan κ sebagai variabel Anda. Ubah tepat satu, jalankan, lalu bandingkan lintasannya. Itulah seluruh disiplin pelajaran ini dalam satu widget.