论文：部分安全基准测的是「训练时怎么定义不安全」，而非能力
这篇被 NeurIPS 2026 研讨会接收的论文使用约 53k 条被按两种定义各标注一次的提示词（「是否在索取有害内容」与「审核员是否会拦截」），在两个规模上训练了 10 个架构、代码和优化器相同的护栏模型。结果显示，基准分数主要随标注定义变化，而不是随检测能力变化。
要点
- 训练池中已混入基准题：JailbreakBench-benign 有 88%、OR-Bench-hard 有 82% 出现在训练数据中，报告结果已去污染
- 架构固定时，不同标注定义下的分数在 HarmBench-copyright 上相差 0.99，在 WildGuard-benign 上只差 0.043，约 23 倍
- 只改动 0.03% 的参数就能让某个基准分数跨越整个取值范围
- 作者建议护栏评测把数据污染情况、多随机种子结果和标注定义作为必须报告的变量
为什么值得关注
选型内容安全护栏时，不能只比公开基准分数；应先确认自己业务对「不安全」的定义，再用按该定义标注的数据评测。
来源
### [论文：部分安全基准测的是「训练时怎么定义不安全」，而非能力]({{URL}})
这篇被 NeurIPS 2026 研讨会接收的论文使用约 53k 条被按两种定义各标注一次的提示词（「是否在索取有害内容」与「审核员是否会拦截」），在两个规模上训练了 10 个架构、代码和优化器相同的护栏模型。结果显示，基准分数主要随标注定义变化，而不是随检测能力变化。
- 训练池中已混入基准题：JailbreakBench-benign 有 88%、OR-Bench-hard 有 82% 出现在训练数据中，报告结果已去污染
- 架构固定时，不同标注定义下的分数在 HarmBench-copyright 上相差 0.99，在 WildGuard-benign 上只差 0.043，约 23 倍
- 只改动 0.03% 的参数就能让某个基准分数跨越整个取值范围
- 作者建议护栏评测把数据污染情况、多随机种子结果和标注定义作为必须报告的变量
**为什么值得关注**：选型内容安全护栏时，不能只比公开基准分数；应先确认自己业务对「不安全」的定义，再用按该定义标注的数据评测。
来源：[Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On](https://arxiv.org/abs/2610.25060)