Tensor Core
NVIDIA GPU 内部的专用矩阵乘法单元。
概览
Tensor Core 是 NVIDIA GPU 内部的单元，能够在单条指令中完成小型矩阵乘法，吞吐量远高于通用核心。它们解决了矩阵乘法是 transformer 每一层主要开销这一问题。它们之所以存在，是因为为这一单一运算专门定制硅片是值得的，而其实际结果是，模型的速度在很大程度上取决于 Tensor Core 能接受哪种精度。
技术图谱
Tensor Core 如何与技术栈的其他部分相连。
被用于
- A100 hardware Hardware Tensor Core used by A100 High ✓ source
- B200 hardware Hardware Tensor Core used by B200 High ✓ source
- H100 hardware Hardware Tensor Core used by H100 High ✓ source
- H200 hardware Hardware Tensor Core used by H200 High ✓ source
- TensorRT-LLM tool Infrastructure Tensor Core used by TensorRT-LLM High ✓ source
- V100 hardware Hardware Tensor Core used by V100 High ✓ source