Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Full-batch gradient descent memakai setiap contoh training untuk menghitung setiap update; stochastic gradient descent pergi ke ekstrem sebaliknya dan hanya memakai satu contoh. Mini-batch gradient descent berada di antara keduanya dengan batch kecil, dan kompromi itulah yang sebenarnya dipakai deep learning untuk berjalan.
Gradien mini-batch adalah estimasi yang noisy dari gradien penuh. Ia lebih murah dan sering lebih berguna daripada gradien penuh yang eksak karena ia memberi banyak update cepat dan noise-nya bisa membantu eksplorasi.
Pengecekan kualitas sereal memakai kompromi yang sama. Membuka setiap kotak itu akurat tapi lambat. Memeriksa satu kotak itu noisy. Memeriksa satu nampan kotak memberi estimasi yang berguna dengan cepat. Mini-batch adalah nampan-nampan itu. Gambar di bawah ini membuat statistiknya terlihat: tekan Run dan lihat rata-rata berjalan mengendap seiring makin banyak sampel yang datang. Gradien mini-batch adalah objek jenis yang sama, sebuah rata-rata yang menjadi stabil seiring batch-nya membesar.