要闻 了解即可 重点 10月24日 周六 #safety#agent#evaluation

METR 与 Redwood 公布对 OpenAI 内部 Agent 监控的红队结果

METR 10 月 22 日公布了与 Redwood Research 对 OpenAI 内部异步失准监控系统的三周试点红队评估(7 月 21 日至 8 月 11 日)。测试人员可查看内部代码、监控提示词与配置,并访谈了约十几名工程师。结论是监控覆盖了大部分内部 Agent 流量,但存在多处可被绕过的漏洞;OpenAI 称已修补所有影响生产防护的漏洞,METR 尚未评估其后续改动。

要点

  • 估计 GPT-5.5 及以上模型的内部 Agent 流量中有 75–94% 符合监控条件,内部 Codex 子集为 99.2%,测试人员称估计存在较大不确定性
  • 未监控压缩(compaction)事件,可能让 5 月至 7 月约 10% 的符合条件 Codex 流量漏检,OpenAI 已自行发现并修复
  • 发现一种可让数百条近期操作逃过监控的漏洞、两个可关闭新 Agent 监控的客户端请求头,以及一条可能绕过 Codex 沙箱和 Auto-Review 的路径
  • METR 提出五条设计原则,包括难以规避监控、核实监控确实发生、持续红队、让 Agent 与监控相互隔离
为什么值得关注

外部机构获得深度访问去检验实验室自己的 Agent 监控,这种模式本身值得关注;文中的漏洞类型(请求头开关、上下文压缩漏检、序列化差异)也适用于自建 Agent 监控的团队自查。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助