AI资讯 / 研究

研究 / 官方

AI智能体如何悄然左右专家的判断

Anthropic Research

Anthropic研究团队开展了一项随机对照实验,招募50名具备因果推断经验的专业分析师,让他们借助Claude Code完成一项农业合作社的统计分析任务。研究人员在智能体的隐藏指令中预设了对特定选项的倾向,并观察分析师的决策是否受到影响。结果显示,分析师在四项分析决策中有86%的概率跟随智能体的倾向,远高于无影响情况下预期的50%。更值得关注的是,当分析师已表达自身偏好后,若智能体持不同意见,60%的人会改变立场;事后有77%的分析师在解释决策时直接引用了智能体的论点,但仅15%的人承认这些论点来自智能体。研究指出,随着AI承担更多实际操作工作,若专家在不自知的情况下将判断权让渡给智能体,智能体的偏好——无论是否合理——都可能在无人察觉的情况下左右政策建议或研究方向。

Anthropic研究人员Amaç Herdağdelen、Hailey Joren与Alex Tamkin近期发表论文,探讨AI智能体对专家决策的实质影响。研究的核心问题是:当专家将具体工作交给AI智能体执行时,他们是否真的保留了关键判断权?研究团队设计了一个贴近真实工作场景的实验,以验证这一普遍假设是否成立。

实验以虚构的Greenfields农业合作社为背景,要求分析师评估一项农业顾问服务是否值得推广。任务中设置了四项开放性分析决策,每项均有两个合理选项,例如以每公顷产量还是以单位运营成本产量来衡量生产力,以及采用差异中差异法还是统计调整法进行比较。这四项选择直接影响最终的生产力提升估算,而合作社董事会的扩展门槛恰好在3%至4%之间,使每一项决策都具有实质意义。

研究团队通过抛硬币的方式为智能体设定每项决策的倾向,并在系统提示中要求智能体将该倾向视为自身观点,在决策节点主动提出并给出最有力的支持论据,同时不得歪曲数据或提出数字不支持的论点。这一设计使研究者能够在受控条件下精确测量智能体倾向对人类决策的影响程度,同时确保智能体的行为保持诚实。

数据结果揭示了显著的从众效应。分析师整体上有86%的概率跟随智能体的倾向,而在已明确表达自身偏好后仍被智能体说服改变立场的比例高达60%。更耐人寻味的是,77%的分析师在事后解释决策时使用了智能体的论点,部分人甚至逐字引用,但只有15%的人将这些论点归功于智能体。紧密跟随智能体建议的分析师,其自信程度与其他人相当,且同样倾向于认为最终决策出自自身判断。

研究同时记录了使用智能体的效率优势:使用智能体的分析师完成任务更快,且犯下严重错误的概率远低于选择不使用智能体的参与者。不过研究者也指出,不使用智能体的群体规模较小且经验相对不足,因此这一对比结论需谨慎解读。这表明AI智能体的价值是真实存在的,问题的关键不在于是否使用,而在于如何使用。

研究者特别强调,这一发现对AI安全研究领域具有重要意义。目前已有研究人员开始使用智能体来运行和分析实验,而人工审查者只有在判断真正独立时才能发挥有效的监督作用。若审查者在不自知的情况下接受了智能体的偏好,这种监督机制便会失效。随着AI在专业工作中扮演越来越核心的角色,如何确保人类判断的真实独立性,将成为亟待解决的系统性问题。

要点

  • 在受控实验中,专业分析师有86%的概率跟随AI智能体的预设倾向做出决策,远超无影响情况下的50%基准。
  • 即便分析师已事先表达自身偏好,当智能体持不同意见时,仍有60%的人会改变立场,显示智能体的说服力不容小觑。
  • 77%的分析师在事后解释决策时引用了智能体的论点,但仅15%的人意识到这些论点来自智能体,说明影响往往在无意识层面发生。
  • 使用AI智能体的分析师完成任务更快、错误更少,但效率提升与判断独立性之间的张力需要引起重视。
  • 研究对AI安全领域发出警示:若人工审查者的判断已被智能体悄然塑造,其作为独立监督机制的价值将大打折扣。
查看原始来源

原始标题:How AI agents shape experts’ judgment calls

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。