Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Współczynnik uczenia to rozmiar kroku metody spadku gradientowego. Gradient mówi, w którą stronę strata rośnie najszybciej; optymalizator porusza się w stronę przeciwną. Współczynnik uczenia η decyduje, jak daleko sięga ten ruch.
Zbyt mały, a trening pełznie. Zbyt duży, a aktualizacja może przeskoczyć użyteczny obszar, odbijać się albo eksplodować. Większość pozornie tajemniczych problemów z optymalizatorem to w pierwszej kolejności problemy z rozmiarem kroku.
Kajak dobrze pokazuje ten kompromis. Drobne pociągnięcia wiosłem dają kontrolę, ale postęp jest powolny. Potężne pociągnięcia potrafią wyrzucić kajak poza nurt, a wtedy tracisz energię na korygowanie kursu. Współczynnik uczenia to długość pociągnięcia wiosłem. Wypróbuj to poniżej: wybierz punkt startowy, a potem między kolejnymi przebiegami zwiększaj η i patrz, jak stały postęp zmienia się w przeskakiwanie celu i odbijanie.