Triton Inference Server
NVIDIA 用于将来自多个框架的模型部署在一个 API 之后的服务器。
概览
Triton 通过单一的 HTTP 和 gRPC 接口，为从 TensorFlow、PyTorch、ONNX 等导出的模型提供服务，并支持动态批处理和多模型调度。它解决了生产系统中积累来自不同框架的模型，却不想为每个框架单独维护一套服务栈的问题。它作为使异构部署统一化的层而存在。
技术图谱
Triton Inference Server 如何与技术栈的其他部分相连。
应用于
- Deep Learning concept Algorithms Triton Inference Server used for Deep Learning High ✓ source
- Inference concept Infrastructure Triton Inference Server used for Inference High ✓ source
工具
实现或集成 Triton Inference Server 的软件。