Trunchierea gradientului

Cum învață de fapt modelele, de la coborârea pe gradient standard la Adam

Trunchierea gradientului limitează cât de mare poate deveni o actualizare. Dacă un lot produce un gradient uriaș, trunchierea îl scalează în jos înaintea pasului optimizatorului.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Trunchierea gradientului
← Diagnosticele optimizatoruluiAdam vs AdamW →