梯度裁剪

模型究竟是如何学习的——从原始梯度下降到Adam

梯度裁剪限制了一次更新能变得多大。如果某个批次产生了一个巨大的梯度,裁剪会在优化器执行更新之前把它缩小。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 梯度裁剪
← 优化器诊断Adam 与 AdamW →