Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Stały współczynnik uczenia rzadko jest najlepszy dla całego przebiegu treningu. Na wczesnym etapie trening znosi większe ruchy, ponieważ parametry są jeszcze daleko od użytecznych ustawień. Później trening zwykle potrzebuje mniejszych ruchów, aby się ustabilizować.
Harmonogram zmienia η w czasie. Rozgrzewka zaczyna od małego współczynnika uczenia i stopniowo go zwiększa, zanim zacznie działać właściwy harmonogram.
Wypuszczając latawca, nie szarpiesz od razu sznurkiem do pełnego naprężenia. Pozwalasz mu się wznieść, wyczuwasz wiatr, a potem regulujesz linkę, gdy latawiec się ustabilizuje. Rozgrzewka to właśnie ten łagodny start. Późniejszy harmonogram to sposób, w jaki zarządzasz linką, gdy latawiec już lata.