Unsloth
使用手写内核进行微调实现，以实现速度和低内存占用。
概览
Unsloth 通过自定义 kernel 重写了微调中计算密集的部分，相比标准实现，报告了显著更低的内存占用和更快的训练速度。它解决了在单块消费级 GPU 上进行微调的人所面临的成本问题，在这种情况下，内存而非时间才是约束瓶颈。它之所以存在，是因为通用实现做了超出任务所需的工作，而手工专门化能挽回很大的余量。
技术图谱
Unsloth 如何与技术栈的其他部分相连。
应用于
- LoRA technique Techniques Unsloth used for LoRA High ✓ source
- QLoRA technique Techniques Unsloth used for QLoRA High ✓ source
- Quantization technique Techniques Unsloth used for Quantization High ✓ source