推理
运行已训练的模型以产生输出，而非训练它。
概览
推理是在输入上运行已训练模型的行为。它本身并不解决任何问题；它是生命周期的另一半，其经济性与训练在每个方面都不同。它之所以作为一个独立的关注点存在，是因为训练是一次性的、受预算约束，而推理是持续的、受延迟和每次请求成本约束，因此真正重要的优化——批处理、缓存、量化——并不相同。
技术图谱
推理 如何与技术栈的其他部分相连。
应用于
- Distillation technique Techniques Distillation used for 推理 High ✓ source
- FP8 concept Algorithms FP8 used for 推理 High ✓ source
- FlashAttention technique Techniques FlashAttention used for 推理 High ✓ source
- GGUF infrastructure Infrastructure GGUF used for 推理 High ✓ source
- KV Cache technique Infrastructure KV Cache used for 推理 High ✓ source
- MI300X hardware Hardware MI300X used for 推理 High ✓ source
- ONNX infrastructure Infrastructure ONNX used for 推理 High ✓ source
- Ollama tool Infrastructure Ollama used for 推理 High ✓ source
- Prompt Caching technique Infrastructure Prompt Caching used for 推理 High ✓ source
- Quantization technique Techniques Quantization used for 推理 High ✓ source
- Ray framework Infrastructure Ray used for 推理 High ✓ source
- SGLang tool Infrastructure SGLang used for 推理 High ✓ source
- Safetensors infrastructure Infrastructure Safetensors used for 推理 High ✓ source
- Speculative Decoding technique Techniques Speculative Decoding used for 推理 High ✓ source
- Text Generation Inference tool Infrastructure Text Generation Inference used for 推理 High ✓ source
- Triton Inference Server tool Infrastructure Triton Inference Server used for 推理 High ✓ source
- llama.cpp tool Infrastructure llama.cpp used for 推理 High ✓ source