SWE-bench
模型必须通过编辑代码仓库来解决的真实 GitHub issue。
概览
SWE-bench 从开源仓库中提取真实 issue，要求模型生成一个能让项目自身测试通过的补丁。它解决了孤立编程练习不像真实工作的问题——在真实工作中，首要任务是在大型仓库中找到相关代码。它之所以存在，是因为针对真实测试套件的执行是衡量编码能力最难作弊的信号。
技术图谱
SWE-bench 如何与技术栈的其他部分相连。
应用于
- AI Agent application AI Agents SWE-bench used for AI Agent High ✓ source
- Code Generation application Applications SWE-bench used for Code Generation High ✓ source