模型究竟是如何学习的——从原始梯度下降到Adam
混合精度训练使用更小的数字格式来换取速度和内存。许多运算不再用全精度（标准的 32 位浮点数）来存储每一次计算，而是改用 float16 或 bfloat16：这两种 16 位格式只占一半的内存，代价是精度更低，而对 float16 来说，可表示的数值范围也更窄。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 混合精度与损失缩放