MT-Bench
由充当评判者的模型评判多轮对话质量。
概览
MT-Bench 在多个类别上对模型的多轮对话进行评分，使用一个强大的模型作为评判者，而不是与参考答案进行比较。它解决了开放式对话没有单一正确答案可供评分的问题，这一问题曾使最重要的能力无法被衡量。它之所以存在，是因为使用模型作为评判者被证明与人类偏好有足够好的相关性，从而具有实用价值，同时它也是基准测试依赖于其所评判模型的最清晰例子。
技术图谱
MT-Bench 如何与技术栈的其他部分相连。
使用与依赖
- LLM-as-a-Judge technique Evaluation MT-Bench uses LLM-as-a-Judge High ✓ source