大模型Infra工程师（大模型后训练）
岗位摘要
主导设计并持续迭代后训练基础设施，完整覆盖SFT、RM/DPO、PPO/GRPO/DAPO的对齐链路，构建模块化、可插拔的框架架构；针对在线RL训练中Policy模型频繁生成带来的海量推理请求，设计高效的采样调度系统，优化推理与训练之间的数据流转管道
岗位职责
- 主导设计并持续迭代后训练基础设施，完整覆盖SFT、RM/DPO、PPO/GRPO/DAPO的对齐链路，构建模块化、可插拔的框架架构
- 针对在线RL训练中Policy模型频繁生成带来的海量推理请求，设计高效的采样调度系统，优化推理与训练之间的数据流转管道
- 解决后训练场景下推理与训练对GPU资源的竞争问题，设计灵活的资源分配与弹性扩缩容策略，实现集群利用率的全局最优
- 保障大规模RL训练的稳定性，解决分布式环境下的探索多样性、奖励尺度震荡及训练崩溃等系统性问题，持续优化全链路吞吐
任职要求
- 深刻理解SFT、DPO、PPO、GRPO、DAPO等主流后训练算法的数学原理与计算模式，熟悉Reward Model的训练范式及其在RL链路中的角色
- 深度使用或精读过veRL、OpenRLHF、TRL等开源RL训练框架之一的核心源码，有在大规模集群上落地RL训练的实际经验
- 熟悉推理与训练混合部署的架构模式，理解显存隔离、通信隔离与任务编排策略
- 具备从端到端视角进行性能压榨的能力，能够精准定位采样瓶颈、数据传输瓶颈与训练瓶颈
- 加分项：有视觉/多模态生成模型的后训练落地经验；具备优秀的SFT阶段调参经验与数据配比/构建经验；熟悉在线RL与离线RL的Infra差异并有实际调优经验；有自研或深度定制RL训练框架的经历
加分项
- 有视觉/多模态生成模型的后训练（SFT/RM/DPO/RL）落地经验
- 具备优秀的 SFT 阶段调参经验与数据配比/构建经验，深刻理解 SFT 质量对后续 RM 训练及 RL 收敛效果的影响
- 熟悉在线 RL 与离线 RL 的 Infra 差异，并有实际调优经验
- 有自研或深度定制 RL 训练框架的经历