Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
RMSProp past de stapgrootte apart aan voor elke parameter. Het houdt een lopend gemiddelde bij van gekwadrateerde gradiënten, en deelt de gradiënt dan door de wortel van dat gemiddelde.
Het effect is eenvoudig: coördinaten met consistent grote gradiënten krijgen kleinere effectieve stappen; coördinaten met kleine gradiënten krijgen relatief grotere stappen. Dit helpt wanneer gradiëntschalen wild uiteenlopen.
Stel je fabrieksloopbanden voor die pakketten van verschillend gewicht vervoeren. Als elke band met hetzelfde ruwe motorcommando beweegt, kunnen zware lijnen schokken terwijl lichte lijnen er nauwelijks toe doen. RMSProp houdt de belasting van elke band in de gaten en schaalt het commando per band. De figuur hieronder toont de meetkunde die RMSProp bestrijdt: een uitgerekte kom waarin de gradiënten van de ene coördinaat consequent groter zijn dan die van de andere. RMSProp verkleint de stappen van de steile coördinaat en versterkt, relatief gezien, die van de vlakke.