Text Generation Inference
Hugging Face 用于 transformer 模型的 serving 栈。
概览
Text Generation Inference 为 Hugging Face 生态系统中的模型提供服务，内置连续批处理、token 流式传输和量化功能。它弥合了在 Hub 上拥有模型与将其作为服务运行之间的差距，而这一过程中所需的组件每次都相同，却很容易出现细微错误。它作为该生态系统的参考服务路径而存在，这一点很重要，因为大多数开放权重模型都首先在那里发布。
技术图谱
Text Generation Inference 如何与技术栈的其他部分相连。
使用与依赖
- KV Cache technique Infrastructure Text Generation Inference uses KV Cache High ✓ source
应用于
- Inference concept Infrastructure Text Generation Inference used for Inference High ✓ source