幻觉
流畅的输出,但缺乏模型输入或事实的支持。
概览
幻觉是指那些读起来自信且具体,但实际上并无来源依据或事实支撑的输出。它解决不了任何问题;正是这种失效模式使得语言模型在不经核查的情况下使用变得不安全。它之所以作为一个被命名的问题存在,是因为它并非通过更多训练数据就能修复的缺陷:一个被训练来预测合理文本的模型,并没有独立的机制来判断何为真实,这就是为什么接地与引用是对它的工程应对,而非模型层面的修复。
技术图谱
幻觉 如何与技术栈的其他部分相连。
应用于
- TruthfulQA benchmark Benchmarks TruthfulQA used for 幻觉 High ✓ source
- Grounding technique Techniques Grounding solves 幻觉 High ✓ source
- RAG technique Techniques RAG solves 幻觉 Medium ✓ source