DPO
直接在偏好对上对齐模型，无需训练奖励模型。
概览
Direct Preference Optimization 通过一个监督式步骤，在成对的偏好响应与拒绝响应上优化语言模型。它解决了 RLHF 的复杂性——RLHF 需要单独的训练奖励模型，以及一个对超参数极为敏感的强化学习循环。它之所以存在，是因为 RLHF 的目标可以被改写，使得最优策略具有闭式解，从而完全无需奖励模型和采样循环。
技术图谱
DPO 如何与技术栈的其他部分相连。
使用与依赖
- RLHF technique Techniques DPO based on RLHF High ✓ source
应用于
- TRL library LLM Frameworks TRL used for DPO High ✓ source
- Alignment technique Safety & Alignment DPO enables Alignment High ✓ source
替代方案
对比
与上述替代方案的逐项对比。