Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Adam menggabungkan dua ide: momentum untuk rata-rata gradien, dan penskalaan bergaya RMSProp untuk rata-rata gradien-kuadrat. Ia kemudian mengoreksi bias di awal karena rata-rata bergerak itu dimulai dari nol.
Kombinasi itu membuat Adam menjadi pilihan pertama yang umum dalam deep learning, terutama ketika gradien noisy dan parameter memiliki skala yang sangat berbeda-beda.
Sebuah autopilot bisa memakai dua instrumen sekaligus. Satu menunjukkan arah rata-rata drift pesawat. Yang lain menunjukkan seberapa turbulen arah itu selama ini. Adam memakai ide yang sama: bergerak mengikuti drift yang persisten, tetapi menskalakan pergerakan itu dengan turbulensi terbaru. Pada gambar Anda bisa langsung melihat separuh momentum dari Adam: naikkan β dan pantulannya memudar. Adam menambahkan satu trik lagi di atasnya, membagi langkah setiap koordinat dengan skala gradien terbaru milik koordinat itu sendiri.