批量大小縮放

模型究竟是如何學習的,從原始梯度下降法到Adam

批量大小,記作 B,會改變梯度估計中的噪聲。小批量給出的估計帶噪聲但代價低;大批量給出的估計更穩定,但每次更新的代價也更高。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 批量大小縮放
← 混合精度與損失縮放梯度累積 →