GRPO
一种相对于彼此对一组答案进行评分的策略优化方法。
概览
组相对策略优化通过采样同一问题的一组答案，并以它们的相对分数作为基线，从而去掉了PPO所需的价值模型。它解决了评论家模型体积庞大、成本高昂且需要额外训练的问题。它之所以存在，是因为去掉评论家模型使得推理任务上的强化学习能够大规模实用化，这也正是它成为推理模型训练核心的原因。
技术图谱
GRPO 如何与技术栈的其他部分相连。
使用与依赖
- Reinforcement Learning concept Algorithms GRPO based on Reinforcement Learning High ✓ source