GGUF
为快速加载和CPU推理而设计的量化模型格式。
概览
GGUF 将量化模型与其分词器和元数据打包在一个可内存映射的单一文件中，因此运行时无需转换步骤即可加载。它解决了这样一个问题：在本地运行模型原本意味着要协调检查点、独立的分词器以及可能与两者都不一致的配置。它作为 llama.cpp 引入的格式而存在，旨在让本地推理只需一个文件，如今大多数本地桌面工具都支持它。
技术图谱
GGUF 如何与技术栈的其他部分相连。
被用于
- llama.cpp tool Infrastructure GGUF used by llama.cpp High ✓ source
应用于
- Inference concept Infrastructure GGUF used for Inference High ✓ source