Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Poszukiwacz współczynnika uczenia to krótki przebieg diagnostyczny. Zacznij od maleńkiego współczynnika uczenia, zwiększaj go przez wiele mini-wsadów i obserwuj, jak reaguje strata.
Nie chodzi tu o dokończenie treningu; chodzi o odnalezienie zakresu, w którym model zaczyna się uczyć, zanim strata stanie się niestabilna.
Tę samą ideę wykorzystuje bracketing ekspozycji w fotografii. Robisz serię zdjęć od zbyt ciemnego do zbyt jasnego, a potem wybierasz zakres, w którym szczegóły są wyraźne. Poszukiwacz robi to samo z krokami treningowymi, przemiatając η od nieśmiałego po lekkomyślne i zaznaczając, gdzie uczenie robi się ostre. Możesz odegrać ręczne poszukiwanie na poniższym rysunku: uruchom z małym η, podkręć je, uruchom ponownie. Gdzieś płynny zjazd zamienia się w przeregulowanie i skakanie, i właśnie tej krawędzi wybuchu szuka przemiatanie.