产业 / 媒体
多智能体团队成本高达单体5倍,质量提升却几乎可以忽略不计
评测机构Vals AI对GPT-6 Sol与Claude Opus 5.5进行了系统性测试,分别以单体智能体和团队形式在「Vibe Code Bench」基准上运行,并设置中等与最大两种推理强度。结果显示,智能体团队的成本是单体的1.8至5.1倍,但在四组对比中,仅有一组——GPT-6 Sol在中等推理强度下——取得了统计意义上的显著提升,得分高出7.3分。在最大推理强度下,团队配置对两款模型均未带来实质性优势。Anthropic自身的测试数据同样印证了这一规律:智能体数量从10扩展至100时,任务得分仅有微幅提升,而算力消耗持续攀升。OpenAI研究员Noam Brown也公开表示,多智能体系统的核心价值在于提速而非提质,智能体之间的协调损耗正在抵消规模扩张带来的潜在收益。
Vals AI近期在「Vibe Code Bench」基准测试中,对GPT-6 Sol和Claude Opus 5.5分别以单体与团队两种模式进行了评估,推理强度分为中等和最大两档。测试结果表明,智能体团队的运行成本是单体的1.8倍至5.1倍,但在四组横向对比中,只有一组出现了统计上可信的质量提升:GPT-6 Sol在中等推理强度下,团队得分比单体高出7.3分。其余三组对比均未显示出有意义的差距,尤其是在最大推理强度下,团队配置对两款模型均无实质帮助。
Anthropic自身的内部测试数据与上述发现高度吻合。在Opus 5.5的知识库任务中,单体智能体得分为0.53,10个智能体提升至0.70,但从30个扩展到100个时,得分仅从0.71微升至0.74。Lean定理证明任务呈现相似规律:10个智能体相较单体有明显跃升,但继续扩大规模后收益趋于平缓。这表明智能体数量存在一个边际效益拐点,超过该阈值后,增加算力投入的回报将大幅递减。
Anthropic旗下的Fable 5.1模型在Lean定理证明任务中,超过10个智能体后质量增益相对更为明显,但在所有测试项目上的得分仍低于Opus 5.5。值得注意的是,在知识库任务中,Fable从30个智能体扩展至100个时,得分反而出现了小幅下滑,进一步说明盲目堆叠智能体数量并不总能带来正向收益,有时甚至会产生负面效果。
OpenAI研究员Noam Brown在Dwarkesh播客中明确指出,多智能体系统的核心价值在于加速任务完成,而非提升输出质量。他的测试显示,4个智能体可将任务完成速度提升一倍,但成本同样翻倍;扩展至16个智能体时,这一规律依然成立,但效率略有下降。他还强调,任务类型对并行化效果影响极大——网络搜索和数学计算适合并行,而写作类任务则几乎无法从中受益,向一部小说投入1万个智能体与投入1万个人一样毫无意义。
OpenAI开发者Eric Provencher对「智能体集群」模式提出了明确警告,认为这类架构在大多数场景下是对资源的浪费。他将智能体之间的协调损耗称为「协调税」——随着智能体数量增加,个体间的信息同步与任务分配会产生大量额外开销,最终抵消甚至超过规模扩张带来的潜在收益。综合多方研究来看,在模型已处于高推理强度的前提下,单体智能体往往是更具性价比的选择,多智能体架构的适用场景需要更为审慎的评估。
要点
- Vals AI测试显示,AI智能体团队成本是单体的1.8至5.1倍,但四组对比中仅一组出现统计显著的质量提升。
- Anthropic内部数据表明,智能体数量超过10个后,任务得分提升趋于平缓,边际收益大幅下降。
- OpenAI研究员Noam Brown指出,多智能体系统的主要价值是提速而非提质,且速度收益与成本增长基本等比。
- 智能体间的协调损耗——即「协调税」——是制约多智能体架构实际效益的核心瓶颈。
- 任务类型决定并行化效果,数学与搜索类任务适合多智能体,写作等线性任务几乎无法从中获益。
原始标题:AI agent teams waste massive tokens for barely measurable quality gains, research finds
本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。