Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Adam kết hợp hai ý tưởng: momentum cho gradient trung bình, và chia tỷ lệ kiểu RMSProp cho bình phương gradient trung bình. Sau đó nó điều chỉnh độ lệch ban đầu vì các trung bình trượt đó bắt đầu từ 0.
Sự kết hợp đó khiến Adam trở thành một lựa chọn đầu tiên phổ biến trong học sâu, đặc biệt khi gradient nhiễu và các tham số có thang đo rất khác nhau.
Một hệ thống lái tự động có thể dùng hai thiết bị đo cùng lúc. Một thiết bị cho biết hướng trôi trung bình của máy bay. Thiết bị kia cho biết hướng đó đã hỗn loạn đến mức nào. Adam dùng cùng ý tưởng đó: di chuyển theo hướng trôi bền vững, nhưng chia tỷ lệ chuyển động theo mức hỗn loạn gần đây. Trong hình bạn có thể xem trực tiếp nửa momentum của Adam: tăng β và sự nảy qua nảy lại sẽ mờ dần. Adam xếp thêm một mánh nữa lên trên, chia bước của mỗi tọa độ cho thang đo gradient gần đây của chính tọa độ đó.