llama.cpp
面向量化模型的CPU优先推理，采用可移植的C++实现。
概览
llama.cpp 能在 CPU 上高效运行量化语言模型，并可选进行 GPU 卸载，其代码库不依赖任何重型依赖项。它解决了推理通常假设使用数据中心 GPU 的问题，而这一假设将笔记本电脑、手机和边缘设备排除在外。它之所以存在，是因为它所推广的 GGUF 量化格式使得在普通硬件上运行可用模型变得切实可行，并且它是许多本地桌面应用背后的引擎。
技术图谱
llama.cpp 如何与技术栈的其他部分相连。
使用与依赖
- GGUF infrastructure Infrastructure llama.cpp uses GGUF High ✓ source
- Quantization technique Techniques llama.cpp uses Quantization High ✓ source
应用于
- Inference concept Infrastructure llama.cpp used for Inference High ✓ source
- Llama model Models llama.cpp used for Llama High ✓ source
- Mistral model Models llama.cpp used for Mistral High ✓ source
- Qwen model Models llama.cpp used for Qwen High ✓ source
- Speech Recognition application Applications llama.cpp used for Speech Recognition Medium ✓ source