모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
RMSProp은 각 파라미터마다 걸음 크기를 따로 적응시킵니다. 그래디언트 제곱의 이동평균을 추적한 다음, 그래디언트를 그 평균의 제곱근으로 나눕니다.
효과는 단순합니다. 꾸준히 큰 그래디언트를 갖는 좌표는 유효 걸음이 작아지고, 작은 그래디언트를 갖는 좌표는 상대적으로 더 큰 걸음을 얻습니다. 이는 그래디언트 규모가 크게 다를 때 도움이 됩니다.
무게가 서로 다른 소포를 나르는 공장 컨베이어 벨트들을 떠올려 보세요. 모든 벨트가 똑같은 원본 모터 명령으로 움직인다면, 무거운 라인은 휘청거리고 가벼운 라인은 거의 영향을 받지 않을 것입니다. RMSProp은 각 벨트의 짐을 살펴보고 벨트마다 명령을 조절합니다. 아래 그림은 RMSProp이 맞서 싸우도록 설계된 기하를 보여 줍니다. 한 좌표의 그래디언트가 다른 좌표보다 꾸준히 더 큰, 늘어난 그릇 모양입니다. RMSProp은 가파른 좌표의 걸음을 줄이고, 상대적으로 완만한 좌표의 걸음을 키워 줍니다.