Ořezávání gradientu

Jak se modely reálně učí, od klasického gradientního sestupu po Adam

Ořezávání gradientu omezuje, jak velká může být aktualizace. Pokud batch vyprodukuje obrovský gradient, ořezávání ho před krokem optimalizátoru zmenší.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Ořezávání gradientu
← Diagnostika optimalizátorůAdam vs AdamW →