量化
以较低精度存储模型权重，以减少内存占用并加速推理。
概览
量化以 8 位或 4 位而非 16 位浮点来表示权重，有时也用于激活值。它解决了推理的内存和带宽开销：无法装入 GPU 内存的模型根本无法提供服务，而在一次生成一个 token 时，瓶颈通常是内存带宽而非算术运算。它之所以存在，是因为对大多数任务而言质量损失很小，而节省却很大，这正是使本地推理变得可行的原因。
技术图谱
量化 如何与技术栈的其他部分相连。
被用于
- FAISS library Vector Databases 量化 used by FAISS High ✓ source
- QLoRA technique Techniques 量化 used by QLoRA High ✓ source
- llama.cpp tool Infrastructure 量化 used by llama.cpp High ✓ source
应用于
- Inference concept Infrastructure 量化 used for Inference High ✓ source
- LLM concept Models 量化 used for LLM High ✓ source
- Llama model Models 量化 used for Llama High ✓ source
- Mistral model Models 量化 used for Mistral High ✓ source
- Qwen model Models 量化 used for Qwen High ✓ source
- Unsloth framework Frameworks Unsloth used for 量化 High ✓ source