Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Una tasa de aprendizaje fija rara vez es la mejor opción para toda una corrida de entrenamiento. Al principio, el entrenamiento puede soportar movimientos más grandes porque los parámetros están lejos de un ajuste útil. Más adelante, el entrenamiento suele necesitar movimientos más pequeños para asentarse.
Una programación cambia η con el tiempo. El calentamiento comienza con una tasa de aprendizaje pequeña y la aumenta gradualmente antes de que empiece la programación principal.
Cuando lanzas una cometa, no tiras del hilo hasta la tensión máxima de golpe. La dejas subir, sientes el viento, y luego ajustas el hilo a medida que se estabiliza. El calentamiento es ese lanzamiento suave. La programación posterior es cómo manejas el hilo una vez que la cometa ya está volando.