在 Amazon SageMaker HyperPod 上用 SkyRL 加速多模态强化学习训练

强化学习后训练的核心挑战在于规模化运行。与单轮 RL 不同，多轮 RL 让智能体在完整的动作序列中学习：观察状态、执行动作、获取反馈，再进入下一状态，最终从整个回合积累的奖励中更新策略。以视觉迷宫导航为例，每个回合是一次完整的迷宫尝试，模型每步观察当前迷宫图像并选择移动方向，只有在规定步数内到达终点才能获得 1.0 的奖励，稀疏的奖励信号使训练难度大幅增加。

SkyRL 采用的 GRPO 算法通过组内相对比较解决了稀疏奖励问题。对于每个起始位置，智能体在当前策略下多次运行迷宫，GRPO 将这些运行结果相互比较，强化优于组内平均水平的轨迹，抑制低于平均水平的轨迹。这种组内比较机制无需独立的评论网络或价值模型，大幅降低了训练复杂度，同时为视觉语言模型的多步推理能力提供了有效的训练信号。

本方案的集群拓扑由三个 GPU 工作节点和一个 CPU 头节点组成。SkyRL 将推理与训练共置于同一批 GPU 上：vLLM 引擎负责生成完整的迷宫回合轨迹，而通过 PyTorch FSDP 分片的策略模型则处理梯度更新。每次优化器步骤完成后，更新后的 LoRA 适配器权重通过 Amazon FSx for Lustre 共享存储从训练节点同步至推理引擎，实现了训练与推理的高效协同。具体配置为 3 台 ml.g7e.12xlarge 实例（共 6 块 GPU）作为工作节点，1 台 ml.r5d.16xlarge 实例作为头节点。

Amazon SageMaker HyperPod 为整个训练流程提供了关键的基础设施支撑。其集群弹性功能持续监控节点健康状态，一旦检测到硬件故障便自动替换故障节点，配合检查点机制确保训练任务可从最后保存的步骤恢复，而非从头重启。对于动辄数百 GPU 小时的多节点 RL 训练而言，这一能力至关重要——单次硬件故障原本可能导致数小时的回合数据付之东流。

在可观测性方面，HyperPod 与 Ray 的深度集成提供了完整的任务管理体验。用户可直接从 SageMaker Studio 创建 Ray 集群，通过 sagemaker_ray:// 协议安全提交训练任务，并借助 HyperPod Observability EKS 插件自动配置的 Amazon Managed Grafana 仪表板实时监控训练指标。训练完成后，LoRA 适配器可直接部署用于推理服务，整个流程从环境准备到模型上线形成完整闭环。

实验结果验证了该方案的有效性。从 VisGym SFT 监督微调检查点出发，经过 GRPO 后训练，Qwen3-VL-8B 模型在固定 64 个迷宫的评估集上，求解率从基线的 43.75% 跃升至 95% 以上。这一结果表明，在 HyperPod 提供的稳定大规模基础设施支撑下，多模态视觉语言模型通过强化学习后训练能够显著提升复杂推理与规划能力，为构建更强大的多模态智能体提供了可复现的工程路径。

要点

• SkyRL 结合 GRPO 算法在 HyperPod 上对 Qwen3-VL-8B 进行后训练，视觉迷宫求解率从 43.75% 提升至 95% 以上
• HyperPod 的节点自动替换与断点续训机制，有效保障了多节点长时间 RL 训练任务的稳定性
• vLLM 推理引擎与 FSDP 训练共置于同一 GPU，通过 FSx for Lustre 共享存储同步 LoRA 权重，实现训练推理高效协同
• 从 SageMaker Studio 创建集群、提交任务到 Grafana 监控训练指标，HyperPod 提供了端到端的大规模 RL 训练管理能力