红队测试
以对抗性方式探测模型的有害或不安全行为。
概览
红队测试是指通过提示注入、角色扮演框架和其他对抗性技术，刻意让模型产生不应产生的输出。它解决了这样一个问题：一个拒绝明显有害请求的模型，在请求被伪装后仍可能照做。它之所以存在，是因为失败是通过主动寻找才被发现的：无法通过礼貌地询问来评估模型的不安全行为，而这些发现随后成为衡量安全训练的依据。
技术图谱
红队测试 如何与技术栈的其他部分相连。
使用与依赖
- Prompt Engineering technique Prompting 红队测试 uses Prompt Engineering High ✓ source
应用于
- Alignment technique Safety & Alignment 红队测试 used for Alignment High ✓ source
- Guardrails technique Safety & Alignment Guardrails used for 红队测试 Medium ✓ source
- Jailbreak technique Safety & Alignment Jailbreak used for 红队测试 High ✓ source