Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Learning rate adalah ukuran langkah dari gradient descent. Gradien mengatakan ke arah mana loss naik paling cepat; optimizer bergerak ke arah sebaliknya. Learning rate η menentukan seberapa jauh ia bergerak.
Terlalu kecil dan training merangkak pelan. Terlalu besar dan update bisa melompati wilayah yang berguna, memantul, atau meledak. Kebanyakan masalah optimizer yang tampak misterius sebenarnya adalah masalah ukuran langkah lebih dulu.
Sebuah kayak menunjukkan tradeoff ini. Kayuhan dayung yang kecil menjaga kendali tetapi membuat kemajuan lambat. Kayuhan besar bisa membelokkan kayak melewati alur air, dan Anda pun membuang energi untuk mengoreksinya. Learning rate adalah panjang kayuhan itu. Coba di bawah ini: pilih titik awal, lalu naikkan η di antara setiap run dan lihat kemajuan yang stabil berubah menjadi overshoot dan memantul-mantul.