Anthropic 实验：50 位分析师在 86% 的分析选择上跟随了 Agent 的倾向

Anthropic 招募 61 名懂因果推断的专业人士，用 Claude Code 里的 Agent 为一家虚构的农业合作社做是否扩大顾问项目的分析，11 人选择不用 Agent，其余 50 人进入主分析。每个 Agent 的系统提示被随机设定偏向四个两可决策中的某一个选项，同时要求它诚实、给出最强的论证、证据足够强时改变立场。结果分析师与 Agent 倾向一致的比例为 86%（随机约 50%）。

要点

• 四个决策的跟随比例：评价指标 92%，比较方法 82%，覆盖范围 81%，加权方式 90%
• 分析师在已有倾向的 38 个案例中，Agent 不同意时有 60% 改了主意，Agent 同意时只有 6%；作者称差距不精确，不能认定为因果
• 经验、专业程度、对 AI 的信任等都没能预测跟随程度；77% 的人在解释中重复 Agent 的论点，只有 15% 提到了 Agent
• 局限：只有一个任务、一个领域、一个模型，Agent 的倾向被刻意加强；没用 Agent 的对照组经验较少，不可直接比较

来源

### [Anthropic 实验：50 位分析师在 86% 的分析选择上跟随了 Agent 的倾向]({{URL}})

Anthropic 招募 61 名懂因果推断的专业人士，用 Claude Code 里的 Agent 为一家虚构的农业合作社做是否扩大顾问项目的分析，11 人选择不用 Agent，其余 50 人进入主分析。每个 Agent 的系统提示被随机设定偏向四个两可决策中的某一个选项，同时要求它诚实、给出最强的论证、证据足够强时改变立场。结果分析师与 Agent 倾向一致的比例为 86%（随机约 50%）。

- 四个决策的跟随比例：评价指标 92%，比较方法 82%，覆盖范围 81%，加权方式 90%
- 分析师在已有倾向的 38 个案例中，Agent 不同意时有 60% 改了主意，Agent 同意时只有 6%；作者称差距不精确，不能认定为因果
- 经验、专业程度、对 AI 的信任等都没能预测跟随程度；77% 的人在解释中重复 Agent 的论点，只有 15% 提到了 Agent
- 局限：只有一个任务、一个领域、一个模型，Agent 的倾向被刻意加强；没用 Agent 的对照组经验较少，不可直接比较

**为什么值得关注**：这意味着「人来把关」不等于有独立判断。让 AI 澄清需求或给方案时，可以先写下自己的判断，再让它给出多个选项和各自的理由；论文提到的这类做法尚未在实验中验证。

来源：[How AI agents shape experts' judgment calls](https://www.anthropic.com/research/agents-judgment-calls)