投机解码
用快速模型生成多个 token，再用真实模型进行验证。
概览
投机解码使用一个小而廉价的模型来提议多个 token，再由大型目标模型在一次前向传播中验证它们，只保留目标模型原本会生成的提议。它解决了逐 token 生成会让 GPU 空闲的问题：开销主要由内存带宽而非算术运算决定，因此一次性验证多个 token 几乎不增加成本。它之所以存在，是因为它能在不改变输出分布的前提下加速推理。
技术图谱
投机解码 如何与技术栈的其他部分相连。
使用与依赖
- KV Cache technique Infrastructure 投机解码 uses KV Cache High ✓ source
应用于
- Inference concept Infrastructure 投机解码 used for Inference High ✓ source