Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Adam и AdamW се различават по начина, по който боравят с отслабването на теглата (weight decay). Adam примесва наказание L2 в адаптивната актуализация на градиента. AdamW прилага отслабването на теглата като отделна стъпка на смаляване.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Adam срещу AdamW