Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Gradient clipping membatasi seberapa besar sebuah update bisa menjadi. Jika sebuah batch menghasilkan gradien raksasa, clipping menyusutkan skalanya sebelum langkah optimizer.
Clipping tidak memperbaiki objektif maupun data. Anggaplah sebagai aturan keselamatan: satu batch ekstrem tidak boleh dibiarkan melemparkan parameter melintasi permukaan loss.
Governor kecepatan lift adalah analoginya. Lift bisa bergerak seperti biasa, tetapi jika mulai bergerak terlalu cepat, governor membatasi kecepatannya sebelum gerakannya menjadi berbahaya. Gradient clipping membiarkan gradien normal lewat dan membatasi lonjakan-lonjakan berbahaya. Gambar di bawah menunjukkan objek yang sedang di-clip: seret titik di sekitar mangkuk dan saksikan panah gradien merenggang saat permukaannya semakin curam. Clipping membatasi panjang panah itu pada c sambil tetap mempertahankan arahnya.