AI资讯 / 研究

研究 / 官方

Anthropic 用 201 名员工做了一场 AI 代理人交易实验,结果如何?

Anthropic Research

Anthropic 今夏开展了名为「Project Swap」的实验,邀请分布在旧金山、纽约、伦敦、西雅图、华盛顿特区和都柏林六个办公室的 201 名员工参与。每位员工带来一本想送出的书,与 Claude 进行简短对话后,由 Claude 驱动的代理人进入数字「交易大厅」,与其他员工的代理人相互谈判、以物易物,目标是为主人换回一本适合夏日阅读的好书。实验结果显示,仅凭五分钟对话,代理人对书籍的偏好排序与真实参与者的吻合率达到 61%,表现出乎意料地好。代理人的谈判表现整体良好,市场效率的主要瓶颈在于代理人掌握的用户信息不足,而非谈判能力本身。研究还发现,代理人所使用的底层模型对谈判结果的影响,远大于给定的指令内容。

这项实验的出发点,是现实生活中大量本可互利的交易因为搜寻成本和谈判门槛过高而从未发生。Anthropic 研究人员举例说,一位患者可能因为第一家诊所的报价太高而放弃治疗,却不知道另一家诊所收费低得多;一位求职者和一家非常适合他的雇主,可能因为双方都没有精力持续搜寻而错过彼此。如果每个人都有一个全天候运转的 AI 代理人,这些交易或许就能真正发生。

实验采用去中心化市场设计,代理人在开放交易大厅中自由寻找对手方并直接谈判,而非通过统一的撮合中心。研究团队同时模拟了集中式市场的最优分配结果作为对照基准。参与者在实验前还对 10 本书按个人兴趣进行了排名,为评估代理人的偏好理解准确度提供了量化依据。这一设计让研究者能够区分「代理人是否理解了用户」和「代理人是否谈判得好」这两个不同问题。

在偏好理解层面,五分钟的对话让代理人在 61% 的书籍配对中与参与者的排序一致,研究团队认为这一数字「出乎意料地高」。在谈判层面,代理人整体表现良好,市场效率的主要缺口来自信息不足——代理人对参与者真实偏好的了解越深,市场结果就越接近理论最优。这意味着,提升 AI 代理人市场效果的关键,首先在于如何让代理人更好地了解用户本身。

研究团队还对实验进行了大量重复模拟,系统测试了不同底层模型和不同指令设置对结果的影响。结论是:代理人使用的模型能力对谈判结果的影响,显著大于研究者给出的具体指令。使用更强模型的市场整体效率更高。这一发现对未来 AI 代理人市场的设计具有重要启示——模型选型可能比提示词工程更能决定市场表现的上限。

从用户满意度来看,大多数参与者读完代理人为其换来的书后表示喜欢,平均而言,参与者愿意将约三分之一的年度购书预算交由 Claude 代为支配。实验也暴露了若干待解问题:市场设计者需要建立机制来验证代理人是否真正理解了用户;平台需要明确规则,包括哪些代理人有资格参与、交易失败如何处理,以及市场活动对参与者的透明度应达到何种程度。这些问题随着 AI 代理人进入真实市场而变得愈发紧迫。

要点

  • 仅凭五分钟对话,Claude 代理人对用户书籍偏好的排序吻合率达 61%,显示短时交流已能捕捉相当程度的个人偏好。
  • AI 代理人市场的效率瓶颈主要在于用户信息不足,而非代理人的谈判能力本身。
  • 底层模型的能力对代理人谈判结果的影响,远超具体指令设置,更强的模型带来更高的市场整体效率。
  • 实验揭示了 AI 代理人市场落地的三大待解问题:偏好验证机制、交易规则制定,以及市场透明度设计。
  • 参与者平均愿意将约三分之一的年度购书预算交由 AI 代理人支配,显示用户对 AI 代理人的信任度已达到一定水平。
查看原始来源

原始标题:What happens when agents trade for us?

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。