混合精度與損失縮放

模型究竟是如何學習的,從原始梯度下降法到Adam

混合精度訓練使用更小的數字格式來換取速度和記憶體。許多運算不再用全精度(標準的 32 位浮點數)來存儲每一次計算,而是改用 float16 或 bfloat16:這兩種 16 位格式只佔一半的記憶體,代價是精度更低,而對 float16 來說,可表示的數值範圍也更窄。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 混合精度與損失縮放
← 交替最小二乘法批量大小縮放 →