LoRA
通过训练小型低秩适配器矩阵而非全部权重来进行微调。
概览
LoRA 通过在每一个冻结的权重旁训练一对小型低秩矩阵来适配模型，而不是更新权重本身。它解决了全量微调的成本问题，即每个参数都必须按任务存储、更新和分发。它之所以存在，是因为特定任务所需的改变在实践中被证明是低秩的，因此仅需百分之零点几的参数就足够了。多个适配器随后可以共享同一个基础模型。
技术图谱
LoRA 如何与技术栈的其他部分相连。
应用于
- Axolotl framework Frameworks Axolotl used for LoRA High ✓ source
- Fine-tuning technique Techniques LoRA used for Fine-tuning High ✓ source
- Llama model Models LoRA used for Llama High ✓ source
- Mistral model Models LoRA used for Mistral High ✓ source
- PEFT library LLM Frameworks PEFT used for LoRA High ✓ source
- Qwen model Models LoRA used for Qwen High ✓ source
- Unsloth framework Frameworks Unsloth used for LoRA High ✓ source
Evolution
- QLoRA technique Techniques QLoRA extends LoRA High ✓ source