Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Momentum cho gradient descent một trí nhớ. Thay vì chỉ dùng gradient hiện tại, nó giữ một trung bình trượt của các gradient gần đây và bước theo hướng đã tích lũy đó.
Điều này giúp ích theo hai cách: nó làm mượt các gradient nhiễu, và nó xây dựng tốc độ dọc theo các hướng mà gradient liên tục đồng thuận. Trên một thung lũng hẹp, các gradient ngang xen kẽ triệt tiêu lẫn nhau; dọc theo hướng hữu ích, các gradient lặp lại cộng dồn.
Một quả bóng bowling không quên cú đẩy trước đó. Một cú đẩy khiến nó bắt đầu chuyển động, và những cú đẩy lặp lại theo cùng hướng làm nó nhanh dần. Những cú hích nhẹ ở bên cạnh không lập tức đảo ngược nó. Momentum khiến tối ưu hóa hành xử giống một chuyển động có quán tính hơn là những bước rời rạc riêng lẻ. Hãy xem điều đó xảy ra bên dưới: chạy gradient descent thuần túy trước với β = 0, rồi tăng β và chạy lại. Sự nảy qua nảy lại hai bên mờ dần và đường đi lấy đà dọc theo thung lũng.