Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Momentum memberi gradient descent sebuah memori. Alih-alih hanya memakai gradien saat ini, ia menyimpan rata-rata bergerak dari gradien-gradien terbaru dan melangkah ke arah akumulasi itu.
Ini membantu dengan dua cara: ia menghaluskan gradien yang noisy, dan ia membangun kecepatan di sepanjang arah tempat gradien terus-menerus sepakat. Melintasi ravine yang sempit, gradien menyamping yang bergantian saling meniadakan; di sepanjang arah yang berguna, gradien yang berulang saling menambah.
Bola bowling tidak melupakan dorongan terakhirnya. Satu dorongan membuatnya mulai bergerak, dan dorongan berulang ke arah yang sama membangun kecepatan. Senggolan kecil dari samping tidak langsung membalikkan arahnya. Momentum membuat optimisasi berperilaku kurang seperti langkah-langkah yang terpisah dan lebih seperti gerakan dengan inersia. Lihat sendiri di bawah ini: jalankan dulu descent biasa dengan β = 0, lalu naikkan β dan jalankan lagi. Pantulan dari sisi ke sisi memudar dan jalurnya mengumpulkan kecepatan di sepanjang lembah.