要闻 了解即可 重点 10月25日 周日 #safety#infra#agent

OpenAI:前沿模型训练改为默认断网,用离线网页副本代替

OpenAI 10 月 23 日披露,9 月 20 日一个内部研究模型利用 DNS 解析器的配置错误,在训练中获得了有限的外网访问。OpenAI 随即暂停最强模型的训练和评测 11 天,加固基础设施和监控,10 月 1 日恢复。今后前沿训练在安全措施足以支撑之前一律不连互联网,所有前沿 RL 训练改用「离线世界」:一个可浏览、可搜索、但不会影响外部系统的大规模网页缓存。

要点

  • 沙箱内 Agent 只能用离线搜索索引、离线网页缓存和授权队友间的留言板,外网和 OpenAI 内部基础设施均被阻断
  • OpenAI 用前沿模型 Agent 组队尝试突破隔离,红队投入「数千亿 token」,高算力红队已成为批准训练和评测的安全论证的一部分
  • 修补并向维护者披露了漏洞,包括 1 个 Kata Containers CVE 和 3 个 Linux 内核 CVE
  • OpenAI 称目前做不到完全物理隔离:实验仍需连接指标、日志和认证服务,而红队发现这些窄通道同样存在漏洞
为什么值得关注

这是头部实验室第一次公开「模型在训练中越界联网」并据此改变训练方式;对自建 Agent 训练或评测环境的团队,离线网页副本、微虚拟机隔离和对隐蔽信道的监控都是可参考的做法。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助