Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
RMSProp dostosowuje rozmiar kroku osobno dla każdego parametru. Śledzi kroczącą średnią kwadratów gradientów, a następnie dzieli gradient przez pierwiastek z tej średniej.
Efekt jest prosty: współrzędne z konsekwentnie dużymi gradientami dostają mniejsze efektywne kroki; współrzędne z małymi gradientami dostają relatywnie większe kroki. Pomaga to, gdy skale gradientów bardzo się od siebie różnią.
Wyobraź sobie fabryczne taśmociągi przenoszące paczki o różnych wagach. Jeśli każda taśma porusza się z tym samym, surowym poleceniem silnika, ciężkie linie mogą się szarpać, a lekkie ledwie drgną. RMSProp obserwuje obciążenie każdej taśmy i skaluje polecenie osobno dla każdej z nich. Rysunek poniżej pokazuje geometrię, z którą RMSProp ma walczyć: rozciągniętą misę, w której gradienty jednej współrzędnej są konsekwentnie większe niż drugiej. RMSProp zmniejsza kroki stromej współrzędnej i, relatywnie, wzmacnia kroki tej płaskiej.