Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Uma taxa de aprendizado fixa raramente é a melhor para um treinamento inteiro. O início do treinamento costuma aguentar passos maiores porque os parâmetros estão longe de configurações úteis. O final do treinamento geralmente precisa de passos menores para se assentar.
Um cronograma muda η ao longo do tempo. O warmup começa com uma taxa de aprendizado pequena e a aumenta aos poucos antes de o cronograma principal começar.
Quando você solta uma pipa, não puxa a linha até a tensão máxima de uma vez. Você deixa ela subir, sente o vento, depois ajusta a linha à medida que ela se estabiliza. O warmup é essa soltura suave. O cronograma que vem depois é como você administra a linha depois que a pipa já está voando.