Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Adam dan AdamW berbeda dalam cara mereka menangani weight decay. Adam mencampurkan penalti L2 ke dalam update gradien adaptif. AdamW menerapkan weight decay sebagai langkah penyusutan yang terpisah.
Pemisahan itu penting karena Adam menskalakan-ulang gradien per parameter. Jika weight decay dicampurkan ke dalam gradien-gradien itu, regularisasinya juga ikut diskalakan-ulang dengan cara yang bergantung pada parameter.
Bayangkan perpustakaan yang ingin buku dikembalikan tepat waktu. Denda datar per hari keterlambatan mudah dinalar: denda itu berlaku sama untuk setiap peminjam. Melipat denda itu ke dalam rumus keanggotaan personal setiap peminjam membuat penaltinya tidak merata dan sulit diprediksi. AdamW adalah denda datar yang terpisah; Adam dengan L2 tergabung melipat penalti itu ke dalam mesin per-parameternya terlebih dahulu. Dan mengapa harus ada penalti sama sekali? Gambar di bawah punya jawabannya: fleksibilitas yang terus bertambah terus menurunkan galat pelatihan sementara galat validasi akhirnya berbalik naik. Weight decay adalah salah satu alat utama untuk tetap berada di dekat titik manis.