在 SageMaker HyperPod 上为 GPT-OSS-20B 实现多语言推理微调

GPT-OSS-20B 的多语言推理缺陷在实际部署中影响显著。测试数据显示，基础模型在英语推理任务上准确率为100%，但法语和西班牙语均为0%，德语仅为10%，意大利语同样为0%。对于面向非英语用户的产品团队而言，这一差距意味着用户以法语提问时，模型会在思维过程中切换至英语，严重影响用户体验和输出质量。

为解决这一问题，AWS 团队选用了 HuggingFaceH4/Multilingual-Thinking 数据集，该数据集包含约949条训练样本和50条验证样本，涵盖英语、法语、西班牙语、德语和意大利语的思维链推理内容。模型通过系统提示接收目标语言指令，需要同时在推理过程和最终答案中使用指定语言，从而克服其根深蒂固的英语偏好。评估指标分为两项：思维链是否使用了正确语言，以及最终答案是否使用了正确语言。

在技术选型上，SFT 与 GRPO 各有其适用场景。SFT 的核心作用是教会模型原本不具备的行为，而 GRPO 则通过对每个提示采样一组响应、并引导策略向高于平均水平的响应靠拢来优化已有行为。关键逻辑在于：若目标行为在基础模型的输出分布中概率接近于零，GRPO 几乎无从强化，此时 SFT 是唯一有效手段。实验结果验证了这一判断——SFT 完成了绝大部分工作，GRPO 在存在提升空间时才能带来可量化的增益。

训练基础设施方面，团队在 Amazon SageMaker HyperPod 上结合 Amazon EKS 进行编排。GPT-OSS-20B 的 SFT 和 GRPO 训练使用了4台 ml.g6e.12xlarge 实例（共16块 L40S 48GB 显卡），并采用 PyTorch TRL 库。对照实验中则切换至 veRL 训练框架，配合 Ray 和 KubeRay 进行分布式调度，以及 vLLM 加速推理生成。检查点和数据集存储于 Amazon FSx for Lustre，节点间通信依托弹性网络适配器（EFA）实现高吞吐量传输。

所有微调均采用低秩适配（LoRA）方法，兼顾参数效率与训练效果。为进一步验证 GRPO 的适用边界，团队还设计了一组以 Qwen2.5-7B 为基础的对照实验，针对两项能力差距不同的任务分别测试 SFT 和 GRPO 的效果。实验结论具有普适性：当模型对某项能力的掌握程度接近于零时，应优先使用 SFT 建立基础能力；当模型已能偶尔产生正确输出时，GRPO 才能发挥强化优化的作用，两者结合可实现最优效果。

完整的训练代码、Kubernetes 配置文件和脚本均已开源，存放于 awsome-distributed-ai GitHub 仓库的对应目录下。团队提供了从环境配置、镜像构建到集群部署的完整流程，开发者只需准备好 SageMaker HyperPod 集群、FSx for Lustre 文件系统以及 HuggingFace 访问令牌，即可复现整套多语言推理微调流程，并将其应用于自己的开放权重模型定制场景。

要点

• GPT-OSS-20B 基础模型的多语言推理准确率仅为22%，经 SFT 微调后提升至100%，GRPO 在此基础上进一步带来可量化增益
• SFT 适用于模型完全不具备目标能力的场景，GRPO 适用于模型已有一定能力但需要进一步优化的场景，两者定位不同
• GRPO 依赖模型在基础分布中已有非零概率产生正确输出，若目标行为概率为零则强化学习无从发力
• 训练基础设施采用 SageMaker HyperPod + EKS + FSx for Lustre + EFA 组合，配合 LoRA 实现参数高效微调
• 完整代码已开源，支持开发者在自有集群上复现多语言推理微调全流程