SGLang
围绕复用共享提示前缀构建的服务引擎。
概览
SGLang 为语言模型提供服务时采用了一种运行时，让程序只需描述一次其解码过程便可复用，因此常见的提示前缀、受约束输出和多调用工作流都由引擎处理，而不必为每个请求重新发送。它解决了重复预填充的成本问题：当许多请求共享一个长前缀时，重新计算该前缀会成为主要开销。它之所以存在，是因为智能体和结构化输出工作负载恰好具有这种形态，而节省必须发生在服务引擎这一层。
技术图谱
SGLang 如何与技术栈的其他部分相连。
使用与依赖
- KV Cache technique Infrastructure SGLang uses KV Cache High ✓ source
应用于
- Inference concept Infrastructure SGLang used for Inference High ✓ source
工具
实现或集成 SGLang 的软件。