TRL
用于在偏好数据上微调和对齐模型的训练库。
概览
TRL 提供了监督微调、奖励建模以及后续偏好优化方法的训练循环。它解决的问题是：对齐一个模型是由多个阶段组成的流水线，各阶段的数据形态不同，而让这些阶段能够组合起来才是大部分工作量所在。它之所以存在，是因为这些方法的发表速度快于其实现速度，因此一个能够跟进这些方法的库缩短了从论文到训练出模型之间的距离。
技术图谱
TRL 如何与技术栈的其他部分相连。
应用于
- DPO technique Techniques TRL used for DPO High ✓ source
- Fine-tuning technique Techniques TRL used for Fine-tuning High ✓ source
- RLHF technique Techniques TRL used for RLHF High ✓ source