Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Adam i AdamW różnią się sposobem obsługi zaniku wag. Adam wmieszuje karę L2 w adaptacyjną aktualizację gradientu. AdamW stosuje zanik wag jako osobny krok kurczenia.
To rozdzielenie ma znaczenie, ponieważ Adam przeskalowuje gradienty osobno dla każdego parametru. Jeśli zanik wag zostanie wmieszany w te gradienty, regularyzacja również zostaje przeskalowana w sposób zależny od parametru.
Pomyśl o bibliotece, która chce, by książki wracały na czas. Płaska kara za każdy dzień spóźnienia jest łatwa do przewidzenia: działa tak samo wobec każdego czytelnika. Wmieszanie tej kary w spersonalizowany wzór członkostwa każdego czytelnika sprawia, że kara staje się nierówna i trudna do przewidzenia. AdamW to właśnie ta płaska, osobna kara; Adam ze sprzężoną karą L2 najpierw wmieszuje ją we własną maszynerię działającą osobno dla każdego parametru. A po co w ogóle karać? Odpowiedź daje rysunek: rosnąca elastyczność wciąż obniża błąd treningowy, podczas gdy błąd walidacyjny w końcu zaczyna rosnąć. Zanik wag to jedno z głównych narzędzi, by pozostać blisko tego optimum.