vLLM
围绕分页注意力和连续批处理构建的高吞吐量推理服务器。
概览
vLLM 为语言模型提供服务时采用了两项比模型本身更为关键的优化：分页注意力机制，它防止 KV 缓存碎片化；以及连续批处理，它在请求不断到达和完成的过程中保持 GPU 忙碌。它解决了使朴素服务方式变得不经济的吞吐量问题，即 GPU 因等待批次中最慢的序列而闲置。它的存在是因为决定一个应用是否可行的是服务成本，而非模型质量。
技术图谱
vLLM 如何与技术栈的其他部分相连。
使用与依赖
应用于
工具
实现或集成 vLLM 的软件。