NVLink
GPU 之间的高带宽互连，使它们能够直接共享内存。
概览
NVLink 是一种 GPU 到 GPU 的直接互连，其带宽远超它所补充的 PCIe 总线，并允许一个 GPU 读取另一个 GPU 的内存。它解决了这样一个问题：跨多张卡训练大模型时，瓶颈在于梯度交换的速度，而非每张卡自身的算力。它之所以存在，是因为当模型规模超出单个设备时，互连就成了值得投入工程努力的关键。
技术图谱
NVLink 如何与技术栈的其他部分相连。
被用于
应用于
- Pretraining technique Techniques NVLink used for Pretraining High ✓ source