LLM-as-a-Judge
使用能力强的模型为另一个模型的输出打分。
概览
LLM-as-a-judge 让一个强大的模型对输出进行评分或比较，通常依据评分标准和参考答案。它解决了开放式生成没有正确答案可供比对的问题，因此最重要的能力反而最难衡量。它之所以存在，是因为与人类偏好的相关性被证明是可用的，而它已知的弱点——位置偏差、冗长偏差、自我偏好——正是评分标准之所以重要的原因。
技术图谱
LLM-as-a-Judge 如何与技术栈的其他部分相连。
被用于
- MT-Bench benchmark Benchmarks LLM-as-a-Judge used by MT-Bench High ✓ source
- RLAIF technique Safety & Alignment LLM-as-a-Judge used by RLAIF High ✓ source