Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Adam và AdamW khác nhau ở cách chúng xử lý suy giảm trọng số. Adam trộn một số hạng phạt L2 vào bước cập nhật gradient thích ứng. AdamW áp dụng suy giảm trọng số như một bước co lại riêng biệt.
Sự tách biệt đó quan trọng vì Adam chia tỷ lệ gradient theo từng tham số. Nếu suy giảm trọng số bị trộn vào những gradient đó, phần chính quy hóa cũng bị chia tỷ lệ theo một cách phụ thuộc tham số.
Hãy nghĩ về một thư viện muốn sách được trả đúng hạn. Một khoản phạt cố định cho mỗi ngày trễ thì dễ suy luận: nó áp dụng như nhau cho mọi người mượn sách. Việc gộp khoản phạt đó vào công thức thành viên cá nhân hóa của từng người mượn khiến hình phạt trở nên không đồng đều và khó dự đoán. AdamW chính là khoản phạt cố định, tách riêng; Adam với L2 gắn liền thì gộp hình phạt vào bộ máy theo từng tham số của nó trước. Và vì sao lại phải phạt? Hình bên dưới có câu trả lời: độ linh hoạt tăng lên liên tục làm giảm sai số huấn luyện trong khi sai số kiểm định cuối cùng lại quay đầu tăng lên. Suy giảm trọng số là một trong những công cụ chính để giữ gần điểm cân bằng đó.