Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Търсачът на скоростта на обучение е кратък диагностичен ход. Започвате с много малка скорост на обучение, увеличавате я през много мини-партиди и наблюдавате как реагира загубата.
Тук не се опитвате да завършите обучението; търсите диапазона, в който моделът започва да се учи, преди загубата да стане нестабилна.
Гнездовото снимане при фотоапарат (exposure bracketing) използва същата идея. Правите поредица от кадри от твърде тъмен до твърде светъл, а после избирате диапазона, в който детайлите са ясни. Търсачът прави същото с тренировъчните стъпки, обхождайки η от свенлива до безразсъдна и отбелязвайки къде обучението става отчетливо. Можете да разиграете ръчен търсач на фигурата по-долу: пуснете с малка η, побутнете я нагоре, пуснете отново. Някъде плавното плъзгане се превръща в прескачане и подскачане и точно това е ръбът на взрива, който обхождането търси.