TensorRT-LLM
NVIDIA 用于在其 GPU 上优化 LLM 推理的编译器和运行时。
概览
TensorRT-LLM 将模型编译为针对特定 NVIDIA GPU 优化的引擎，并应用内核融合、量化和连续批处理。它弥合了模型能运行与模型运行速度足以值得部署之间的差距，而在 NVIDIA 硬件上，这归结为针对该特定芯片调优的内核。它之所以存在，是因为最快的路径是硬件特定的，而代价是必须为每种 GPU 和模型组合重新构建引擎。
技术图谱
TensorRT-LLM 如何与技术栈的其他部分相连。
使用与依赖
- Tensor Core hardware Hardware TensorRT-LLM uses Tensor Core High ✓ source
- NVIDIA CUDA platform Hardware TensorRT-LLM depends on NVIDIA CUDA High ✓ source