BF16
保留 FP32 指数范围的十六位浮点数，用于训练稳定性。
概览
BF16 是一种十六位格式，它牺牲尾数精度，换取与 FP32 相同的指数范围。它解决了 FP16 在训练过程中上溢和下溢的问题，这些问题使得 FP16 在没有损失缩放的情况下十分脆弱。它之所以存在，是因为对于梯度累积而言，数值范围比精度更重要，而它已成为默认的训练格式。
技术图谱
BF16 如何与技术栈的其他部分相连。
应用于
- Pretraining technique Techniques BF16 used for Pretraining High ✓ source