上下文窗口
模型在单次请求中能够关注的最大 token 数量。
概览
上下文窗口是模型一次能够考虑的 token 数量，涵盖提示词和响应两部分。它解决了模型除了眼前内容之外没有记忆的问题，因此它限定了单个请求能够携带的源材料总量。由于注意力成本随序列长度增长，它作为一项硬性的架构限制而存在。正是这一约束使得检索成为必要而非可选。
技术图谱
上下文窗口 如何与技术栈的其他部分相连。
使用与依赖
- Agent Memory technique AI Agents Agent Memory based on 上下文窗口 High ✓ source
- Context Engineering technique Prompting Context Engineering based on 上下文窗口 High ✓ source
应用于
- RAG technique Techniques 上下文窗口 used for RAG High ✓ source