RLHF
使用强化学习对排序输出进行训练，使模型与人类偏好对齐。
概览
RLHF 基于人类对模型输出的比较来训练奖励模型，然后利用强化学习引导语言模型朝着奖励模型给出高分的方向靠拢。它解决了这样一个问题：人们所期望的行为——提供帮助并拒绝有害请求——用排序来刻画远比写成监督目标容易得多。它之所以存在，是因为正是它把一个原始的下一词元预测器变成了能够遵循指令的东西，而它也正是后来被 DPO 简化的那一步。
技术图谱
RLHF 如何与技术栈的其他部分相连。
使用与依赖
- Reinforcement Learning concept Algorithms RLHF uses Reinforcement Learning High ✓ source
- DPO technique Techniques DPO based on RLHF High ✓ source
- RLAIF technique Safety & Alignment RLAIF based on RLHF High ✓ source
应用于
- Fine-tuning technique Techniques RLHF used for Fine-tuning High ✓ source
- TRL library LLM Frameworks TRL used for RLHF High ✓ source
- Alignment technique Safety & Alignment RLHF enables Alignment High ✓ source
Classification
- Supervised Fine-Tuning technique Techniques Supervised Fine-Tuning part of RLHF High ✓ source
替代方案
-
Constitutional AI
technique
RLHF 的替代方案 · source
-
DPO
technique
RLHF 的替代方案 · source
对比
与上述替代方案的逐项对比。