苹果提出从工具规范自动合成评估场景的新方法

评估能够调用外部工具的AI智能体，历来是一项高成本工作。研究人员需要手工设计覆盖多种工具组合方式和多轮对话迭代的测试场景，这不仅要求评估者具备深厚的领域专业知识，还面临无法随工具生态系统扩展、基准随API更新而迅速过时等问题。苹果研究团队认为，这一困境的根源在于评估场景的生产方式，而非工具本身的复杂性。

Agent Seer提出了一种全新思路：工具规范文档本身已经隐含了足够丰富的语义信息。函数名称、自然语言描述以及带类型的参数模式共同构成了一套可被机器理解和利用的语义结构。基于此，Agent Seer仅需输入单一MCP（模型上下文协议）规范，无需任何示例、无需访问真实工具、无需针对特定领域进行模型微调，即可启动整个场景合成流程。

该流水线分三个阶段运作：首先对原始模式进行语义增强，补充上下文信息；其次生成带有合成工具输出的分级评估场景；最后将这些场景扩展为以模拟数据为基础的多轮对话。最终产出的对话在工具调用正确性和对话连贯性两个核心维度上均达到较高水准，能够有效模拟真实用户与工具型智能体交互的典型模式。

研究团队在七个涵盖不同领域和工具集规模的MCP规范上对该流水线进行了系统评估。结果显示，Agent Seer在所有领域均实现了较强的整体质量，在中小规模规范上更达到了完整的工具覆盖率。分析还揭示了两个重要规律：参数模式的复杂度是影响质量差异的最强相关因素，工具集规模的影响相对较小且与前者正交；在不完美场景中，参数值准确性是最主要的失败模式，而这一维度在粗粒度的名称匹配指标下完全不可见。

这项研究的意义不仅在于提供了一个具体工具，更在于为智能体评估基准的构建范式提供了新方向。随着工具调用能力成为大语言模型应用的核心能力之一，如何高效、可扩展地生成高质量评估数据集，将直接影响整个领域的迭代速度。Agent Seer所展示的「从规范中提取语义、自动合成场景」的路径，有望大幅降低评估基础设施的建设门槛，推动更广泛的工具型智能体研究与部署。

要点

• Agent Seer仅凭MCP规范文档即可自动合成多轮对话评估场景，无需人工标注或实时工具访问，显著降低评估成本
• 参数模式复杂度是影响场景合成质量的最关键因素，工具集规模的影响相对次要且独立
• 参数值准确性是当前最主要的失败模式，粗粒度名称匹配指标无法捕捉这一问题，需要更细粒度的评估维度
• 该方法在七个跨领域MCP规范上均表现出色，中小规模规范可实现完整工具覆盖，具备良好的泛化能力