Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
RMSProp mengadaptasi ukuran langkah secara terpisah untuk setiap parameter. Ia melacak rata-rata bergerak dari gradien yang dikuadratkan, lalu membagi gradiennya dengan akar dari rata-rata itu.
Efeknya sederhana: koordinat dengan gradien yang konsisten besar mendapat langkah efektif yang lebih kecil; koordinat dengan gradien kecil mendapat langkah yang relatif lebih besar. Ini membantu ketika skala gradien berbeda secara drastis.
Bayangkan ban berjalan pabrik yang membawa paket dengan berat berbeda-beda. Jika setiap ban berjalan digerakkan dengan perintah motor mentah yang sama, jalur yang berat bisa tersentak-sentak sementara jalur yang ringan nyaris tidak bergerak. RMSProp mengawasi beban setiap ban berjalan dan menskalakan perintahnya per ban. Gambar di bawah ini menunjukkan geometri yang memang dilawan oleh RMSProp: sebuah mangkuk yang meregang, di mana gradien satu koordinat konsisten lebih besar dari koordinat lainnya. RMSProp mengecilkan langkah koordinat yang curam dan, secara relatif, memperbesar langkah koordinat yang landai.