Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Batch size, ditulis B, mengubah noise dalam estimasi gradien. Batch kecil memberi estimasi yang berisik tetapi murah. Batch besar memberi estimasi yang lebih stabil, tetapi setiap update lebih mahal.
Ketika batch size berubah, learning rate terbaik sering ikut berubah. Batch besar terkadang bisa memakai learning rate yang lebih besar, tetapi biasanya membutuhkan warmup dan validasi yang hati-hati.
Jajak pendapat keluar TPS (exit poll) bekerja dengan cara yang sama. Menanyai lima pemilih memberi tebakan yang berisik. Menanyai lima ribu pemilih memberi estimasi yang lebih stabil, tetapi butuh lebih banyak kerja. Batch size adalah ukuran jajak pendapat untuk gradien. Efek penstabilan itulah yang persis ditunjukkan gambar: tekan Run dan saksikan rata-rata berjalan dari lemparan koin mengendap saat n bertambah. Tukar koin dengan gradien per-contoh dan n dengan B, dan Anda mendapat keseluruhan cerita batch size.