模型究竟是如何學習的,從原始梯度下降法到Adam
混合精度訓練使用更小的數字格式來換取速度和記憶體。許多運算不再用全精度(標準的 32 位浮點數)來存儲每一次計算,而是改用 float16 或 bfloat16:這兩種 16 位格式只佔一半的記憶體,代價是精度更低,而對 float16 來說,可表示的數值範圍也更窄。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 混合精度與損失縮放