Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
RMSProp adatta la dimensione del passo separatamente per ciascun parametro. Tiene traccia di una media mobile dei gradienti al quadrato, poi divide il gradiente per la radice di quella media.
L'effetto è semplice: le coordinate con gradienti costantemente grandi ottengono passi effettivi più piccoli; le coordinate con gradienti piccoli ottengono passi relativamente più grandi. Questo aiuta quando le scale dei gradienti differiscono enormemente.
Immagina i nastri trasportatori di una fabbrica che portano pacchi di pesi diversi. Se ogni nastro si muove con lo stesso comando grezzo del motore, le linee pesanti possono sobbalzare mentre quelle leggere contano a malapena. RMSProp osserva il carico di ogni nastro e riscala il comando per ciascuno. La figura qui sotto mostra la geometria che RMSProp è costruito per combattere: una ciotola allungata dove i gradienti di una coordinata sono costantemente più grandi di quelli dell'altra. RMSProp riduce i passi della coordinata ripida e, relativamente, potenzia quelli della coordinata piatta.