Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Фиксираната скорост на обучение рядко е най-добрата за целия процес на обучение. В началото на обучението мрежата може да понесе по-големи движения, защото параметрите са далеч от полезните настройки. По-нататък обучението обикновено се нуждае от по-малки движения, за да се уталожи.
Разписанието променя η с течение на времето. Загряването (warmup) започва с малка скорост на обучение и я увеличава постепенно, преди да започне основното разписание.
Когато пускате хвърчило, не дърпате рязко конеца до пълно напрежение веднага. Оставяте го да се издигне, усещате вятъра, после регулирате конеца, докато се стабилизира. Загряването е нежният старт. По-нататъшното разписание е начинът, по който управлявате конеца, след като хвърчилото вече лети.