MMLU
涵盖57个学科的多项选择基准测试。
概览
MMLU 通过约本科难度的多项选择题，衡量模型在从数学到法律等五十七个学科上的知识。它解决了单一狭窄基准奖励狭窄训练的问题：一个针对单一任务调优的模型可以取得高分，却对其他领域知之甚少。它作为模型最常被引用的通用知识指标而存在，而这恰恰是其饱和本身成为一则新闻的原因——当前大多数模型的得分都足够高，以至于该基准已无法将它们区分开来。
技术图谱
MMLU 如何与技术栈的其他部分相连。
应用于
- LLM concept Models MMLU used for LLM High ✓ source
- LM Evaluation Harness tool Evaluation LM Evaluation Harness used for MMLU High ✓ source