V100
首款搭载 tensor cores 的 NVIDIA GPU，也是早期 transformers 训练所用的 GPU。
概览
V100 将张量核心引入了数据中心产品线，正是这一点让混合精度训练从一种技术变成了默认做法。它解决了上一代硬件上训练大型 transformer 不切实际的吞吐量问题。它正是最初的 transformer 规模化工作所运行的硬件，这也是为什么早期论文引用的是 V100 小时数而非 GPU 小时数。
技术图谱
V100 如何与技术栈的其他部分相连。
使用与依赖
- Tensor Core hardware Hardware V100 uses Tensor Core High ✓ source