HumanEval
通过运行生成的代码来评分的Python编程问题。
概览
HumanEval 要求模型根据函数签名和文档字符串补全 Python 函数，然后对生成结果运行单元测试。它解决了大多数代码基准测试将生成文本与参考字符串进行比较的问题，这种做法会惩罚写法不同但正确的解法。它之所以存在，是因为执行是代码唯一诚实的评判标准，也正是它让 pass@k 成为报告编码能力的标准方式。
技术图谱
HumanEval 如何与技术栈的其他部分相连。
应用于
- Code Generation application Applications HumanEval used for Code Generation High ✓ source
- LLM concept Models HumanEval used for LLM High ✓ source