Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Adam и AdamW различаются тем, как они обращаются с затуханием весов. Adam подмешивает штраф L2 прямо в адаптивное обновление градиента. AdamW применяет затухание весов как отдельный шаг сжатия.
Это разделение важно, потому что Adam перемасштабирует градиенты для каждого параметра отдельно. Если затухание весов подмешано в эти градиенты, регуляризация тоже перемасштабируется по-разному для разных параметров.
Представьте библиотеку, которая хочет получать книги вовремя. Плоский штраф за каждый день просрочки легко понять: он применяется одинаково к каждому читателю. А если вплести штраф в персональную формулу членства каждого читателя, наказание станет неравномерным и непредсказуемым. AdamW — это плоский, отдельный штраф; Adam со связанным L2 сначала вплетает штраф в свою по-параметрную машинерию. А зачем вообще штрафовать? Ответ даёт фигура: растущая гибкость модели продолжает снижать ошибку на обучении, а ошибка на валидации в какой-то момент начинает расти. Затухание весов — один из главных инструментов, чтобы оставаться рядом с этой золотой серединой.