LM Evaluation Harness
用于运行语言模型基准测试的标准测试框架。
概览
LM Evaluation Harness 通过统一的接口让模型在一大批学术基准上运行并报告结果。它解决的问题是：只有当两个模型以完全相同的方式被评估时，基准分数才具有可比性，而大多数已报告的分数并非如此。它之所以存在，是因为共享的评估代码消除了那些自由度——正是这些自由度让两个数字看似可比，实则不然。
技术图谱
LM Evaluation Harness 如何与技术栈的其他部分相连。
应用于
- HellaSwag benchmark Benchmarks LM Evaluation Harness used for HellaSwag High ✓ source
- MMLU benchmark Benchmarks LM Evaluation Harness used for MMLU High ✓ source