Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
RMSProp điều chỉnh kích thước bước riêng cho từng tham số. Nó theo dõi một trung bình trượt của bình phương gradient, rồi chia gradient cho căn bậc hai của trung bình đó.
Hiệu ứng rất đơn giản: các tọa độ có gradient lớn một cách nhất quán nhận được bước hiệu dụng nhỏ hơn; các tọa độ có gradient nhỏ nhận được bước tương đối lớn hơn. Điều này giúp ích khi thang đo gradient khác nhau rất mạnh.
Hãy tưởng tượng các băng chuyền nhà máy chở các kiện hàng có trọng lượng khác nhau. Nếu mọi băng chuyền chạy theo cùng một lệnh động cơ thô, các dây chuyền nặng có thể giật cục trong khi các dây chuyền nhẹ hầu như không đáng kể. RMSProp theo dõi tải trọng của từng băng chuyền và chia tỷ lệ lệnh điều khiển theo từng băng chuyền. Hình bên dưới cho thấy hình học mà RMSProp được thiết kế để chống lại: một cái bát bị kéo giãn, nơi gradient của một tọa độ luôn lớn hơn tọa độ kia. RMSProp thu nhỏ bước của tọa độ dốc đứng và, một cách tương đối, tăng cường bước của tọa độ phẳng.