AI资讯 / 研究

研究 / 官方

统一持续学习智能体训练与评估的执行基底

Apple Machine Learning

苹果机器学习研究团队于2026年9月发布论文,介绍了名为SCLATE的执行基底系统,专为持续学习智能体的训练与评估而设计。持续学习智能体需要在跨越多个会话的长时间跨度内运行,涉及会话启动与停止、定时任务、记忆整合等复杂事件的交织调度。然而现有基准测试框架仅能调度自身事件,导致每对基准与智能体组合都需要单独构建定制化调度循环,造成大量重复工程工作。SCLATE通过适配器将基准测试与智能体的事件统一纳入一个开放事件调度器,并借助混合模拟时钟在共享时间线上运行,可将长达一个月的场景压缩至数小时内完成。研究团队将七个基准移植至SCLATE,对十种智能体配置与十个模型进行横向对比,并通过SCLATE对Qwen3.5-4B进行后训练,取得显著性能提升。

持续学习智能体是由多个模型、执行框架与记忆系统组成的复合体,需要在跨越多个会话的长时间跨度内持续运作。与单次任务型智能体不同,这类系统必须处理会话启动与停止、定时任务触发、记忆整合等一系列智能体侧事件,并将其与基准测试本身的任务事件交织调度。这一需求在工程层面带来了显著挑战,也是当前持续学习研究难以规模化推进的重要障碍之一。

现有基准测试框架的核心局限在于,它们只能调度自身定义的事件,无法感知或协调智能体侧的生命周期事件。这意味着每当研究者希望将某个基准与某个智能体配对评估时,都需要从头构建一套定制化的调度循环,既耗费工程资源,又难以在不同组合之间进行公平的横向比较。苹果研究团队正是针对这一痛点,提出了SCLATE这一统一执行基底。

SCLATE的核心设计是一个开放事件调度器,基准测试与智能体各自通过适配器将自身事件注册至同一调度器中,无需对智能体代码进行任何修改。系统采用混合模拟时钟机制:当智能体处于工作状态时以实时速度运行,当系统处于空闲等待时则自动跳过时间间隔,从而将原本长达一个月的场景压缩至数小时内完成。此外,SCLATE还充当推演引擎,通过容器内代理记录每次模型调用的token序列与对数概率,为后续训练提供完整数据支撑。

研究团队将七个主流基准移植至SCLATE平台,并对十种不同的执行框架与记忆配置组合在十个模型上进行了系统性横向对比。对比结果揭示了两个重要发现:其一,额外添加的记忆系统并不能稳定地超越执行框架自带的原生记忆能力;其二,不同模型在使用相同框架与记忆配置时,表现出显著差异,说明模型本身的特性对最终效果有决定性影响。这些发现对智能体系统的设计选择具有重要参考价值。

在后训练实验中,研究团队通过SCLATE对Qwen3.5-4B模型进行训练,结果表明模型学会了更高效地利用执行框架与记忆系统。具体而言,模型读取文件行数减少了6.8倍,同时在SWE-bench Verified基准上的通过率提升了16.7个百分点,并能生成内容更丰富的记忆记录。在未参与训练的保留测试集MetaClaw上,准确率最高提升了11.8个百分点,验证了SCLATE作为训练基底的泛化能力。

SCLATE的发布标志着持续学习智能体研究基础设施迈出了重要一步。通过将调度、执行与记录功能统一至单一基底,研究者得以在标准化环境下对不同智能体配置进行可复现的公平比较,同时大幅降低了构建评估流程的工程门槛。随着多会话、长时程智能体应用场景的持续扩展,这类基础设施工具的重要性将进一步凸显。

要点

  • SCLATE通过开放事件调度器将基准测试与智能体事件统一管理,无需修改智能体代码,解决了现有框架各自为政的工程碎片化问题
  • 混合模拟时钟机制可将月级持续学习场景压缩至数小时内完成,大幅提升评估与训练效率
  • 横向对比实验表明,额外添加的记忆系统并不稳定优于框架原生记忆,且不同模型对相同配置的利用效率差异显著
  • 基于SCLATE对Qwen3.5-4B进行后训练后,模型在SWE-bench Verified上通过率提升16.7个百分点,文件读取效率提升6.8倍,保留测试集准确率最高提升11.8个百分点
查看原始来源

原始标题:SCLATE: A Substrate for Continual-Learning Agent Training and Evaluation

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。