FP8
八位浮点数，用于更快地训练和部署模型。
概览
FP8 是一种八位浮点格式，具有较小的尾数和较宽的指数范围，其设计目的是让梯度和激活值能够在降低的精度下依然可用。它解决了这样一个问题：更低的精度意味着更快的运算和更少的内存搬运，但朴素的八位定点会破坏训练所需的动态范围。它之所以存在，是因为相关格式和缩放技巧已经被研究得足够成熟，足以在当前硬件上大规模使用。
技术图谱
FP8 如何与技术栈的其他部分相连。
应用于
- Inference concept Infrastructure FP8 used for Inference High ✓ source