护栏
围绕模型输入和输出的检查，用于约束其行为范围。
概览
Guardrails 是在请求到达模型之前以及模型给出回答之后所施加的验证：拦截不允许的输入、检查输出能否解析、拒绝执行未通过验证的工具调用。它解决的问题是：模型是概率性的，而围绕它的系统不是，因此其输出不能作为接口边界被信任。它之所以存在，是因为另一种选择就是信任模型，而一旦这种信任被错付，失败是无声的。
技术图谱
护栏 如何与技术栈的其他部分相连。
应用于
- AI Agent application AI Agents 护栏 used for AI Agent Medium ✓ source
- Red Teaming technique Safety & Alignment 护栏 used for Red Teaming Medium ✓ source