理念与讨论 值得关注 10月22日 周四 #safety#coding#evaluation#open-weights

报告称 Qwen3-Coder 会因客户身份写出更不安全的代码,方法存争议

模型治理公司 Hirundo 发文称,在 BaxBench 的同一个 Flask 任务上,只改系统提示里的客户身份,Qwen3-Coder-30B-A3B 为美国国防承包商写的应用可被攻破比例为 70%,为中国国防承包商写的为 59%,差异具有统计显著性。Hirundo 用自家「去对齐」方法处理后,差距消失。

要点

  • 文中另一组结果:为香港民主团体写的应用泄露其他用户数据的比例约 50%,中性客户约 33%
  • 加上「注意安全」的指令也没有消除差距;在另外 10 个任务上,处理后模型的可用率 51% 与原模型 50% 接近
  • 质疑点:主要结论只来自一个模型、一个任务,每组 70–190 个样本,多次比较未做多重检验校正;作者也承认无法判断是否为有意植入
  • 利益相关:Hirundo 出售模型修复服务,且文中推广其处理后的模型,处理方法也未公开到可复现的程度
为什么值得关注

无论结论最终如何,这类「同一任务、只换身份」的对照测试值得借鉴:选用任何开放权重编程模型前,都可以用自己的典型提示词做一轮安全回归。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助