论文了解即可 10月23日周五 #agent #evaluation #research

论文：专用决策模型指挥 Agent，成本升 19%、通过率不变

论文 Good Judgment, Bad Advice 在 Terminal-Bench 2.1 上做了预先登记的对照实验：基于 Claude Sonnet 5.5 的终端 Agent 循环保持不变，只在「是否结束、是否验证、是否换方法」等固定决策点更换控制器，比较无控制器、确定性规则、小模型 Claude Haiku 5.5、专用决策模型 Jev 1.13 和模仿 Jev 选择频率的安慰剂。

Jev 离线排序最准，却没带来更高通过率

Jev 1.130.78

确定性规则0.62

小模型0.6

数据来自论文摘要页（arXiv:2610.24649），为离线评估结果

要点

21 个保留任务、315 次试验中，Jev 让每次尝试成本提高 19%（几何均值比 1.19，95% 置信区间 1.02–1.36），通过率均为 73.0%
离线评估中 Jev 判断「该结束」的 AUROC 为 0.78，高于规则的 0.62 和小模型的 0.6
但 Jev 校准偏差明显：平均完成概率为 0.50，而实际 87% 的 run 已通过，因此触发了不必要的验证；没有任何控制器选择过放弃
作者结论：有用的判断信号并没有转化为有用的干预；代码已在 GitHub 公开

为什么值得关注

给 Agent 加「裁判」或「监督者」之前，除了看它判断得准不准，还要看概率是否校准、它触发的动作是否真的改善结果，否则只会多花钱。

配套实验

已验证检查 5/5 通过 GitHub Actions 实际运行 · Python 3.12.15 · 耗时不到 0.1s

排序好不等于建议好：Agent 控制器的校准偏差

受论文 Good Judgment, Bad Advice 启发，用模拟数据演示：一个离线排序（AUROC）更好的「是否已完成」控制器，如果概率整体偏低，按固定阈值行动会触发大量不必要的验证、推高成本而不改变通过率；用少量带标签的 run 做保序校准即可大幅缓解。

结论A 排序更准（AUROC 0.92 vs 0.71），但因概率偏低让 52% 已完成的 run 被要求验证；校准后降到 3%

…
METRIC: 控制器 A 平均完成概率 = 43.3 %
METRIC: 控制器 B 平均完成概率 = 84.4 %
METRIC: 控制器 A 不必要验证比例 = 52.1 %
METRIC: 控制器 B 不必要验证比例 = 4.4 %
METRIC: A 校准后不必要验证比例 = 3.1 %
METRIC: 控制器 A 每次尝试成本 = 1.232 倍
METRIC: 控制器 B 每次尝试成本 = 1.025 倍
METRIC: A 校准后每次尝试成本 = 1.040 倍
[PASS] 控制器 A 的离线排序（AUROC）优于 B
[PASS] 控制器 A 的平均完成概率明显低于真实完成比例（校准偏差）
[PASS] 按同一阈值行动时，A 触发更多验证、成本更高
[PASS] 两种控制器下通过率相同（验证不改变结果）
[PASS] 少量标签做保序校准后，A 的不必要验证减少一半以上
RESULT: A 排序更准（AUROC 0.92 vs 0.71），但因概率偏低让 52% 已完成的 run 被要求验证；校准后降到 3%

python main.py 查看代码与内网复现步骤 →

来源

原文 Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success Hugging Face Papers · huggingface.co 原文 namanvats/decision-model-controllers GitHub · github.com

### [论文：专用决策模型指挥 Agent，成本升 19%、通过率不变]({{URL}})

论文 Good Judgment, Bad Advice 在 Terminal-Bench 2.1 上做了预先登记的对照实验：基于 Claude Sonnet 5.5 的终端 Agent 循环保持不变，只在「是否结束、是否验证、是否换方法」等固定决策点更换控制器，比较无控制器、确定性规则、小模型 Claude Haiku 5.5、专用决策模型 Jev 1.13 和模仿 Jev 选择频率的安慰剂。

- 21 个保留任务、315 次试验中，Jev 让每次尝试成本提高 19%（几何均值比 1.19，95% 置信区间 1.02–1.36），通过率均为 73.0%
- 离线评估中 Jev 判断「该结束」的 AUROC 为 0.78，高于规则的 0.62 和小模型的 0.6
- 但 Jev 校准偏差明显：平均完成概率为 0.50，而实际 87% 的 run 已通过，因此触发了不必要的验证；没有任何控制器选择过放弃
- 作者结论：有用的判断信号并没有转化为有用的干预；代码已在 GitHub 公开

**为什么值得关注**：给 Agent 加「裁判」或「监督者」之前，除了看它判断得准不准，还要看概率是否校准、它触发的动作是否真的改善结果，否则只会多花钱。

来源：[Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success](https://huggingface.co/papers/2610.24649)；[namanvats/decision-model-controllers](https://github.com/namanvats/decision-model-controllers)