QLoRA
使用LoRA适配器对量化模型进行微调，使大型模型能够适配单个GPU。
概览
QLoRA 结合了两项节省措施：基础模型以 4 位精度加载，并且只训练小型 LoRA 适配器。它解决了原本会使大型模型微调需要集群的内存问题，因为冻结权重占据了内存使用的主导地位，而量化将它们缩小了四倍。它之所以存在，是因为它将 65B 参数模型的微调带到了单块普通 GPU 上，这才使得定制化在大实验室之外也变得可行。
技术图谱
QLoRA 如何与技术栈的其他部分相连。
使用与依赖
- Quantization technique Techniques QLoRA uses Quantization High ✓ source
应用于
- PEFT library LLM Frameworks PEFT used for QLoRA High ✓ source
- Unsloth framework Frameworks Unsloth used for QLoRA High ✓ source
Evolution
- LoRA technique Techniques QLoRA extends LoRA High ✓ source