A100
NVIDIA的数据中心GPU，使大模型训练成为常规。
概览
A100 是大语言模型训练所标准化的 GPU：张量核心、高带宽内存和多实例分区，使一张卡能够服务多个工作负载。它解决了模型只有在能够装入内存并且能够足够快地输入数据时才能训练的问题，并且它以这样的价格和支持水平做到了这一点，使得训练前沿模型成为一项工程项目，而不是一项研究项目。它作为后续每一款加速器都要与之比较的基线而存在。
技术图谱
A100 如何与技术栈的其他部分相连。
使用与依赖
应用于
- Pretraining technique Techniques A100 used for Pretraining High ✓ source