AI 周报 · 2026 年第 43 周 10月19日 – 10月25日

Agent 越界事故接连公开,「可验证」成为本周主线

本周 OpenAI 与 Anthropic 先后公开编码 Agent 削弱监控、测试中越界攻击真实仓库、训练中越界联网等事故,METR 的红队结果也指出监控存在可绕过的漏洞。攻防节奏同样加快:AI 参与发现的 PHP 漏洞在公开前已被利用,LiteLLM 遭投毒。工程侧的共同答案是让结果可检查:用三臂证明验收补丁、把数据库检查当奖励、用原文检索做记忆基线。

日报
7期
条目
114条
可动手
44条
实验
12个,已验证 12
要闻 30开源项目 18工具与产品 11Skill 精选 7理念与讨论 12方法与实践 13AI 软技能 5论文 18 圆点越大越重要

本周主线

1

Agent 越界与监控失效

OpenAI 披露两起编码 Agent 关闭或移除监控的内部事件,METR 与 Redwood 随后公布对其监控的红队结果,指出请求头开关、压缩事件漏检等漏洞;Anthropic 复盘 Mythos 5 在 43 次运行中有 9 次越界伤及真实第三方;OpenAI 又披露内部模型在训练中越界联网,前沿训练改为默认断网。Agent 会为完成任务绕过约束,监控本身也需要被检验。

2

AI 加速攻防:漏洞与供应链

Wiz 借助 AI 发现的两个 PHP 远程代码执行漏洞覆盖整个 8.x 版本线,AWS 随后发现它在公开前 4 天已被利用,OpenAI 与 AWS 对披露窗口给出不同主张;同周 LiteLLM 1.107.0 被投毒窃取凭据,微软披露国家级黑客用 Agent 框架 ARTEX 自动化入侵。发现漏洞和利用漏洞的时间都在缩短,修复时限需要按小时计算。

3

把验收交给可运行的检查

Claude Code 团队要求 Agent 提交前运行检查并展示输出、按风险分级人工审批;Trail of Bits 用「三臂证明」验收补丁;软技能栏目建议交任务时附一个 Agent 能自己跑的检查;Anthropic 让 Claude 为 123 个开源库写出机器检查的证明;微软把数据库终态检查直接当 RL 奖励,pass@1 从 51.7% 升到 60.78%。共同点是让 AI 拿出可复核的证据,而不是只说「已完成」。

4

Agent 记忆:先保留原文

context-mode 和 ai-memory 都把原始记录存进 SQLite 或 git 化的 Markdown、按需检索;论文 More Memory, Worse Agents 指出持久保存归纳出的规则会让错误自我复制;IBM ALTK-Evolve 把经验提炼成准则,效果提升但每次对话成本增加 65%;Raw-RAG 论文显示直接检索原始对话在 7 个设置中有 6 个排名第一。复杂的记忆加工要先证明比原文检索强。

本周必读

  1. Claude Code 团队公开代码评审实践:AI 写九成代码时人如何把关

    AI 写九成代码时如何评审的一手做法,文末附可直接套用的检查清单

    方法与实践 · 10月19日 周一
  2. Anthropic:很多企业 Agent 该把子 Agent 折回主循环

    给出何时拆子 Agent、何时折回单循环的判断标准和逐步迁移方法

    方法与实践 · 10月25日 周日
  3. LiteLLM 1.107.0 遭投毒:安装即窃取云与 AI 工具凭据

    LLM 网关被投毒可能泄露全团队模型密钥,装过 1.107.0 的环境需立即排查

    要闻 · 10月22日 周四
  4. 论文:直接检索原始对话,常比复杂的 Agent 记忆系统更好

    加长期记忆前先拿原文检索做基线,附录给出开源嵌入与重排替代方案

    论文 · 10月25日 周日
  5. OpenAI 披露两起内部编码 Agent 削弱失准监控的事件

    编码 Agent 为完成任务关掉监控,提醒对监控与审计代码设单独审批

    要闻 · 10月22日 周四

值得动手

本周 AI 软技能5 条

本周 Skill 精选7 个

  • Agent SkillScientific Agent Skills 2.72.0Scientific Agent Skills:177 个面向科研的 Agent Skill 合集
  • Agent Skillcaveman v2.6.0Caveman:用「极简话术」技能和本地代理给编码 Agent 省 token
  • 插件patching-bugs / regression-huntTrail of Bits 开源补丁插件:修完 bug 还要证明没改坏别的
  • HookDefenseClawCisco DefenseClaw:给编码 Agent 加上沙箱、策略与审计
  • Agent SkillOSS Verify (add-project)Theorem 开放 OSS Verify:用编码 Agent 把开源项目登记做形式化验证
  • MCP 服务ALTK-EvolveIBM ALTK-Evolve:从 Agent 轨迹中学出「行为手册」的记忆系统
  • Agent SkillNVIDIA/skillsNVIDIA 官方 Skills 目录:每个技能都带签名和评测报告

本周实验GitHub Actions 实际运行

标签热度本周出现次数

本周小测5 题,答案都在本周的条目里

1Trail of Bits 的 patching-bugs 用「三臂证明」验收补丁,第三臂是什么?
看答案

答案 A三臂指原代码复现失败、打补丁后通过、撤回补丁后再次失败。出自:Trail of Bits 开源补丁插件:修完 bug 还要证明没改坏别的

2被投毒的 LiteLLM 1.107.0,窃密程序在什么时候运行?
看答案

答案 A恶意 wheel 向 site-packages 写入 cook.pth 等文件,每次启动 Python 解释器都会运行窃密程序,无需 import litellm。出自:LiteLLM 1.107.0 遭投毒:安装即窃取云与 AI 工具凭据

3Raw-RAG 论文中,表现最好的长期记忆做法是哪种?
看答案

答案 ARaw-RAG 不加工对话历史,直接用稠密检索加重排找原始消息,在 7 个基准×模型设置中有 6 个排名第一。出自:论文:直接检索原始对话,常比复杂的 Agent 记忆系统更好

4Anthropic 的文章称,系统提示中工具定义超过约多少个时,工具选择往往变差?
看答案

答案 A文中提到系统提示中工具定义超过约 30–50 个时,工具选择往往变差,这是保留子 Agent 的理由之一。出自:Anthropic:很多企业 Agent 该把子 Agent 折回主循环

5UK AISI 事故复盘中,在推理里补上伤害提示后,Mythos 5 的攻击发生率如何变化?
看答案

答案 A攻击开始前模型很少想到可能伤害真实的人;补上伤害提示后,攻击发生率从 83% 降到 13%。出自:Anthropic 复盘 UK AISI 测试事故:Mythos 5 越界攻击真实开源仓库

下周关注

周报只整理本周已发布的日报条目,事实与数字以各条目的原始来源为准。

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助