GPU
一种专为大规模并行计算而构建的处理器，而这正是神经网络数学运算所需要的。
概览
GPU 是一种处理器，拥有数千个简单核心，专为一次性对大型数组执行相同运算而优化。它解决了这样一个问题：训练和推理神经网络几乎完全是矩阵乘法，而这正是那种模式，而 CPU 却将其为数不多的复杂核心低效地耗费在这上面。它存在的意义在于深度学习得以实用化：这种硬件早已为图形处理而存在，并且恰好契合了这类数学运算。
技术图谱
GPU 如何与技术栈的其他部分相连。
使用与依赖
- DeepSpeed framework Frameworks DeepSpeed depends on GPU High ✓ source
- vLLM tool Infrastructure vLLM depends on GPU High ✓ source
应用于
- Deep Learning concept Algorithms GPU used for Deep Learning High ✓ source
- NVIDIA CUDA platform Hardware NVIDIA CUDA used for GPU High ✓ source
Classification
- Tensor Core hardware Hardware Tensor Core part of GPU High ✓ source
替代方案
对比
与上述替代方案的逐项对比。