Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Скоростта на обучение е размерът на стъпката при градиентното спускане. Градиентът показва в коя посока загубата расте най-бързо; оптимизаторът се движи в обратната посока. Скоростта на обучение η определя колко далеч се движи.
Твърде малка — и обучението пълзи. Твърде голяма — и обновлението може да прескочи полезния регион, да отскача или да „избухне“. Повечето проблеми с оптимизатора, които изглеждат загадъчни, всъщност първо са проблеми с размера на стъпката.
Каякът показва компромиса. Малките загребвания с веслото запазват контрола, но напредъкът е бавен. Огромните загребвания могат да завъртят каяка отвъд канала, а после хабите енергия да коригирате курса. Скоростта на обучение е дължината на загребването. Опитайте по-долу: изберете начало, после увеличавайте η между пусканията и гледайте как стабилният напредък се превръща в прескачане и отскачане.