Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Uma taxa de aprendizagem fixa raramente é a melhor para toda uma execução de treino. O treino inicial consegue lidar com passos maiores porque os parâmetros estão longe de configurações úteis. O treino mais tardio frequentemente precisa de passos menores para assentar.
Um escalonamento (schedule) muda η ao longo do tempo. O aquecimento (warmup) começa com uma taxa de aprendizagem pequena e aumenta-a gradualmente antes de o escalonamento principal começar.
Quando lanças um papagaio, não puxas o fio até à tensão máxima instantaneamente. Deixas-o subir, sentes o vento, depois ajustas a linha à medida que estabiliza. O aquecimento é o lançamento suave. O escalonamento posterior é como geres a linha depois de o papagaio estar a voar.