提示缓存
复用未更改的提示前缀的计算状态。
概览
Prompt caching 会为一段较长且不变的 prefix 存储注意力状态，使后续请求无需重新计算。它解决了这样一个成本问题：一个 system prompt 或文档集在数千次调用中重复出现，却每次都要从头处理。它之所以存在，是因为 prefix 通常是输入中最大的部分，也是始终不变的部分。
技术图谱
提示缓存 如何与技术栈的其他部分相连。
使用与依赖
- KV Cache technique Infrastructure 提示缓存 based on KV Cache High ✓ source
应用于
- AI Agent application AI Agents 提示缓存 used for AI Agent High ✓ source
- Inference concept Infrastructure 提示缓存 used for Inference High ✓ source
- RAG technique Techniques 提示缓存 used for RAG High ✓ source
工具
实现或集成 提示缓存 的软件。