Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Adam łączy dwie idee: pęd dla średniego gradientu i skalowanie w stylu RMSProp dla średniego kwadratu gradientu. Następnie koryguje wczesne obciążenie, ponieważ te kroczące średnie zaczynają od zera.
To połączenie sprawia, że Adam jest częstym pierwszym wyborem w głębokim uczeniu, zwłaszcza gdy gradienty są zaszumione, a parametry mają bardzo różne skale.
Autopilot potrafi korzystać z dwóch przyrządów naraz. Jeden pokazuje średni kierunek znosu samolotu. Drugi pokazuje, jak turbulentny był ten kierunek. Adam korzysta z tej samej idei: porusza się zgodnie z utrzymującym się znosem, ale skaluje ruch według niedawnych turbulencji. Na rysunku możesz bezpośrednio zaobserwować połowę Adama odpowiadającą pędowi: zwiększ β, a rykoszet zanika. Adam dokłada do tego jeszcze jedną sztuczkę, dzieląc krok każdej współrzędnej przez własną, niedawną skalę gradientu tej współrzędnej.