Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
RMSProp adapta el tamaño de paso por separado para cada parámetro. Lleva un promedio móvil de los gradientes al cuadrado, y luego divide el gradiente entre la raíz de ese promedio.
El efecto es simple: las coordenadas con gradientes consistentemente grandes obtienen pasos efectivos más pequeños; las coordenadas con gradientes pequeños obtienen pasos relativamente más grandes. Esto ayuda cuando las escalas de los gradientes difieren enormemente.
Imagina cintas transportadoras de una fábrica cargando paquetes de distintos pesos. Si cada cinta se mueve con la misma orden bruta del motor, las líneas pesadas pueden sacudirse mientras que las líneas ligeras apenas se mueven. RMSProp observa la carga de cada cinta y ajusta la orden por cinta. La figura de abajo muestra la geometría contra la que RMSProp está construido para luchar: un cuenco alargado donde los gradientes de una coordenada son consistentemente más grandes que los de la otra. RMSProp reduce los pasos de la coordenada empinada y, relativamente, aumenta los de la plana.