Gradient-Clipping

Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam

Gradient-Clipping begrenzt, wie groß ein Update werden kann. Erzeugt ein Batch einen riesigen Gradienten, skaliert das Clipping ihn herunter, bevor der Optimierer-Schritt ausgeführt wird.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Gradient-Clipping
← Optimierer-DiagnoseAdam vs. AdamW →