PEFT
一个接口背后的参数高效微调方法。
概览
PEFT 将参数高效微调方法——LoRA 及其变体、prompt tuning、adapters——汇集到同一个接口之下，使它们能够附加到预训练模型上，而无需重写训练代码。它解决的是一个实际问题，而非概念问题：这些方法早已存在于论文中，且在有人将它们统一之前，每一种方法都带着各自的实现。它之所以存在，是因为大多数想要适配模型的人需要的是方法本身，而不是那些繁琐的底层管道，正是它让各种 adapter 变得可以互换。
技术图谱
PEFT 如何与技术栈的其他部分相连。
应用于
- Fine-tuning technique Techniques PEFT used for Fine-tuning High ✓ source
- LoRA technique Techniques PEFT used for LoRA High ✓ source
- QLoRA technique Techniques PEFT used for QLoRA High ✓ source