HellaSwag
常识句子补全任务，对人类来说轻而易举，对模型却困难重重。
概览
HellaSwag 要求模型从描述的情境中选出最合理的后续发展，错误选项经过对抗性生成，因而表面上与正确答案相似。它解决了早期补全基准在模型接受足够文本训练后变得过于简单的问题。它是聚合语言模型评分的标准组成部分之一。
技术图谱
HellaSwag 如何与技术栈的其他部分相连。
应用于
- LLM concept Models HellaSwag used for LLM High ✓ source
- LM Evaluation Harness tool Evaluation LM Evaluation Harness used for HellaSwag High ✓ source