用多轮强化学习在 Amazon SageMaker 上微调搜索智能体

搜索智能体的核心挑战在于多轮决策的连贯性。与单次问答不同，搜索智能体需要在多轮交互中不断根据已检索到的内容调整策略，每一步决策都依赖前序上下文。这意味着孤立地优化单个步骤会遗漏步骤间的依赖关系，导致整体检索效果大打折扣。传统监督微调虽然直观，但需要大量人工标注的理想轨迹数据，在实际企业环境中几乎不存在现成的数据集，采集成本极高。

Amazon SageMaker AI MTRL 的设计思路是将智能体任务建模为完整的多步决策序列，利用多轮展开生成训练数据，再通过策略梯度算法进行优化。该方案提供模块化的智能体-环境接口，支持自定义奖励函数和工具调用循环，整体集成代码量极低。计算层面采用无服务器执行模式，按 token 计费，无需用户自行管理 GPU 集群，大幅降低了工程运维负担。

在算法层面，MTRL 内置了多种主流策略优化算法，包括 PPO、CISPO 以及重要性采样损失，并配套 GRPO、RLOO 等基于分组的优势估计器。异步展开与轨迹收集机制使生成和梯度更新可以并行进行，在保持训练速度的同时控制离策略偏差。此外，平台还支持跨多个训练任务的断点续训，突破了单任务时间限制，适合长周期训练场景。

本次实验以 Qwen3.6-27B 为基础模型，在企业搜索场景下为智能体配备了两种检索工具：基于词频统计的 BM25 词法搜索，适合精确关键词匹配；以及将查询和文档转化为向量并计算相似度的向量搜索，适合语义层面的概念查询。训练数据涵盖 FRAMES、BRIGHT、Enterprise RAG、ESCI、Musique、MLQA 等多个公开数据集，测试集则包括 FreshStack、WixQA、BrowseComp-Plus 和 Wands 等场景各异的评测基准。

奖励函数的设计直接决定了智能体的优化方向。在搜索场景中，奖励信号只需反映最终检索结果的质量，无需对中间步骤逐一打分，这大大简化了标注工作。MTRL 还提供完整的轨迹和奖励可观测性，训练过程中每一轮的智能体行为均可在 Amazon SageMaker AI 托管的 MLflow 中逐步查看，便于调试和分析。训练完成后，可直接通过评估任务报告检索质量指标，再部署至 SageMaker 端点或 Amazon Bedrock。

从工程实践角度看，MTRL 方案的价值在于将前沿模型的可靠性以更低成本迁移到小模型上。经过微调的小型专用模型在推理速度和成本上具有明显优势，同时通过多轮强化学习习得了特定环境下的工具使用策略，弥补了基础模型在垂直场景中的能力短板。对于希望在企业内部部署搜索智能体的团队而言，这一路径兼顾了性能、成本与可控性三个维度。

要点

• 多轮强化学习（MTRL）通过对完整决策轨迹进行优化，解决了单轮 RL 无法捕捉步骤间依赖关系的根本缺陷
• Amazon SageMaker AI MTRL 采用无服务器架构和异步展开机制，无需管理 GPU 集群即可实现生产级智能体训练
• 微调后的小型专用模型可在企业搜索场景中达到接近前沿大模型的可靠性，同时显著降低推理延迟和成本
• 奖励函数只需反映最终检索质量，无需对中间步骤逐一标注，大幅降低了数据准备门槛
• 平台内置 MLflow 轨迹可观测性和断点续训能力，支持长周期、可调试的强化学习训练流程