Отрязване на градиента

Как моделите наистина се учат — от обикновено градиентно спускане до Adam

Отрязването на градиента ограничава колко голяма може да стане една актуализация. Ако дадена партида произведе огромен градиент, отрязването го намалява по мащаб, преди стъпката на оптимизатора.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Отрязване на градиента
← Диагностика на оптимизатораAdam срещу AdamW →