Llama
来自Meta的开放权重语言模型系列，面向本地及自托管使用而发布。
概览
Llama 是一个权重公开的语言模型系列，因此可以在你自己的硬件上运行，而不必仅通过 API 使用。它解决了这样一个问题：大多数能力强的模型只能作为托管服务访问，当数据不能离开你的网络，或按 token 计费的成本成为主要负担时，这些模型就无法使用。它之所以存在，是因为事实证明，公开权重会围绕一种架构建立起由微调模型和工具组成的生态，而它也是大多数本地推理工具首先支持的目标模型。
技术图谱
Llama 如何与技术栈的其他部分相连。
使用与依赖
- Transformer architecture Algorithms Llama based on Transformer High ✓ source
应用于
- LoRA technique Techniques LoRA used for Llama High ✓ source
- Ollama tool Infrastructure Ollama used for Llama High ✓ source
- Quantization technique Techniques Quantization used for Llama High ✓ source
- TensorRT-LLM tool Infrastructure TensorRT-LLM used for Llama High ✓ source
- llama.cpp tool Infrastructure llama.cpp used for Llama High ✓ source
- vLLM tool Infrastructure vLLM used for Llama High ✓ source
工具
实现或集成 Llama 的软件。
LLM Frameworks
替代方案
对比
与上述替代方案的逐项对比。