Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El recorte de gradiente limita cuán grande puede llegar a ser una actualización. Si un lote produce un gradiente enorme, el recorte lo reduce de escala antes del paso del optimizador.
El recorte no arregla ni el objetivo ni los datos. Piénsalo como una regla de seguridad: no se debe permitir que un lote extremo lance los parámetros a través de la superficie de pérdida.
El regulador de velocidad de un ascensor es la analogía. El ascensor puede moverse con normalidad, pero si empieza a ir demasiado rápido, el regulador limita la velocidad antes de que el movimiento se vuelva peligroso. El recorte de gradiente deja pasar los gradientes normales y limita los picos peligrosos. La figura de abajo muestra el objeto que se está recortando: arrastra el punto alrededor del cuenco y observa cómo la flecha del gradiente se estira a medida que la superficie se vuelve más empinada. El recorte limita la longitud de esa flecha a c mientras conserva su dirección.