研究 / 官方
强大的自主ML工程智能体究竟需要多少「脚手架」？
近年来，自主机器学习工程（MLE）智能体在公开排行榜上取得了显著进展。为应对长周期任务中的进展停滞问题，研究者们为智能体配备了越来越复杂的「脚手架」（harness），包括多智能体编排器、专用检索子智能体等。然而，苹果与EPFL联合发布的这篇论文对这一趋势提出了质疑。研究者在相同时间预算和相同前沿大语言模型底座的条件下，系统比较了开源最优脚手架与极简编码智能体的表现。结果显示，复杂脚手架相较于单会话极简编码智能体并无明显优势，表明模型底座本身才是性能的首要决定因素。通过大规模消融实验，研究者进一步论证了在编码智能体场景下，多层机制框架存在冗余。这一发现对当前MLE基准测试的设计思路和工程投入方向具有重要参考价值。
自主机器学习工程智能体（MLE Agent）近年来在各类公开基准测试中持续刷新成绩。为了克服长周期任务中的进展瓶颈，研究社区普遍选择为智能体叠加复杂的外部框架，包括多智能体编排系统、专用信息检索子智能体以及各类工具调用模块。这种「脚手架竞赛」的背后，隐含着一个默认假设：框架越复杂，智能体能力越强。
然而，来自苹果与EPFL的研究团队对这一假设发起了系统性挑战。他们在严格控制时间预算和大语言模型底座的前提下，将当前开源最优脚手架方案与一种极简编码智能体进行了对比。极简方案仅赋予大语言模型直接访问执行环境的能力，包括读取、写入和执行bash命令三类基础操作，不依赖任何额外的编排层。
实验结果出人意料：在相同条件下，复杂脚手架相较于极简单会话编码智能体并未展现出显著的性能优势。研究者通过大规模系统性消融实验进一步验证，在编码智能体的应用场景中，多层机制框架中的各类组件普遍存在冗余，并非性能提升的关键所在。这一结论将目光重新引向了模型底座本身的能力。
研究团队由此得出核心结论：在当前MLE基准测试体系下，围绕强大模型精心手工设计复杂脚手架所带来的收益极为有限。换言之，投入大量工程资源构建多智能体编排框架，其边际回报正在递减。真正决定智能体表现上限的，是所采用的前沿大语言模型的内在能力。
这项研究对AI工程实践具有直接的指导意义。它提示开发者在构建MLE智能体时，应优先评估模型底座的选择，而非过度投入于框架层的复杂化设计。同时，该研究也对现有MLE基准测试的评估维度提出了隐性质疑——若复杂框架无法带来可测量的提升，现有基准是否真正考察了智能体的核心能力，值得进一步探讨。
该论文由Kirill Brilliantov、Alejandro Hernández-Cano和Emmanuel Abbé共同撰写，其中前两位作者贡献相当，Hernández-Cano的部分工作在苹果公司完成。研究成果于2026年10月正式发布，归属苹果机器学习研究院方法与算法研究方向，为智能体架构设计领域提供了一个重要的反向参照。
要点
- 在相同时间预算和相同大语言模型底座下，复杂多智能体脚手架相较于极简编码智能体并无显著性能优势
- 大规模消融实验表明，编码智能体场景中多层框架机制存在普遍冗余，模型底座才是性能的首要驱动力
- 围绕强大模型手工设计精细脚手架的工程投入，在当前MLE基准测试中回报有限，资源应优先用于提升底座模型能力
- 该研究隐性质疑了现有MLE基准测试的评估维度，提示社区重新审视智能体能力的真正考察标准
原始标题：How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?
本文由 DataHub 基于公开来源整理，用于信息发现与摘要阅读；具体事实、数据和后续更新以原始来源为准。