RLAIF
基于AI反馈而非人类反馈的强化学习。
概览
RLAIF 用模型替代了 RLHF 中的人工标注者，由模型依据给定标准对输出进行评判。它解决了人类偏好数据收集速度慢、成本高，难以满足对齐训练所需规模这一瓶颈。它之所以成立，是因为评判模型可以被赋予明确的原则并保持一致地应用，而它留下的开放问题是：模型的判断能否充分替代人的判断。
技术图谱
RLAIF 如何与技术栈的其他部分相连。
使用与依赖
- LLM-as-a-Judge technique Evaluation RLAIF uses LLM-as-a-Judge High ✓ source
- RLHF technique Techniques RLAIF based on RLHF High ✓ source
应用于
- Alignment technique Safety & Alignment RLAIF used for Alignment High ✓ source