用评分细则驱动多环境智能体训练

在构建通用智能体的路径上，让单一大语言模型同时在多个交互环境中学习是一个颇具吸引力的方向。然而，不同环境的学习进度差异悬殊，导致同一训练批次中可能同时存在全部成功和全部失败的轨迹组。对于这类组内奖励完全相同的数据，基于组相对奖励的强化学习方法无法产生有效的对比信号，训练效率因此大打折扣。

RISED的解决思路是用更丰富的文本反馈替代单一标量奖励。研究团队预先定义一套跨环境共享的评分细则词汇表，涵盖期望行为（正向细则）与不期望行为（负向细则）两类描述。LLM裁判依据这套词汇表为每条轨迹生成行为画像，使不同环境的轨迹得以在统一的语义空间中进行比较，从而突破了标量奖励在跨环境关系建模上的固有局限。

在数据选择层面，RISED利用轨迹的行为画像，优先挑选与当前混合环境批次整体行为构成相符、同时与已选数据重叠度较低的样本。这一机制兼顾了多样性与代表性，避免训练数据过度集中于某类行为模式。在策略监督层面，正向细则为在线自蒸馏教师模型提供特权上下文，补充词元级别的监督信号；负向细则则引导后续轨迹生成主动规避反复出现的失败模式。

实验在多个模型骨干上展开，RISED在所有测试环境中取得了最高的平均通过率，并在每个单独环境中均排名第一或第二。更值得关注的是，基于评分细则的分析方法还能定性刻画模型性能提升背后的行为变化，为理解智能体的学习过程提供了可解释的视角，而非仅凭数字指标衡量进步。

RISED的发布延续了苹果机器学习研究院近期在评分细则方向上的系列探索。此前，研究院已分别将细则机制应用于开放域问答的奖励建模（From Preferences to Principles）和密集图像描述的强化学习训练（RubiCap）。这一系列工作表明，将结构化文本反馈系统性地融入强化学习流程，正在成为提升LLM智能体泛化能力的重要技术路线。

要点

• RISED引入跨环境共享的文本评分细则，解决了标量奖励在多环境训练中信息不足的问题，尤其针对全成功或全失败轨迹组缺乏对比信号的痛点。
• 评分细则在RISED中身兼三职：指导在线数据选择、为自蒸馏教师提供词元级监督、以及引导后续轨迹生成规避失败模式。
• 实验结果显示，RISED在多个模型骨干和多个交互环境中均达到最优或次优表现，验证了该框架的跨环境泛化能力。
• 基于细则的行为分析方法为智能体训练提供了可解释性工具，能够定性描述性能提升背后的行为变化。