Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Adam и AdamW се различават по начина, по който боравят с отслабването на теглата (weight decay). Adam примесва наказание L2 в адаптивната актуализация на градиента. AdamW прилага отслабването на теглата като отделна стъпка на смаляване.
Това разделяне има значение, защото Adam премащабира градиентите за всеки отделен параметър. Ако отслабването на теглата бъде примесено в тези градиенти, регуляризацията също бива премащабирана по начин, зависим от параметъра.
Представете си библиотека, която иска книгите да се връщат навреме. Фиксирана глоба за всеки закъснял ден е лесна за разбиране: тя се прилага по един и същ начин към всеки читател. Вграждането на глобата в персонализираната членска формула на всеки читател прави наказанието неравномерно и трудно за предвиждане. AdamW е фиксираната отделна глоба; Adam с обвързан L2 вгражда наказанието първо в своя механизъм по параметри. А защо изобщо да наказваме? Фигурата дава отговора: нарастващата гъвкавост продължава да намалява тренировъчната грешка, докато валидационната грешка накрая се обръща нагоре. Отслабването на теглата е един от основните инструменти за оставане близо до оптималната точка.