大模型训练系统工程师
岗位摘要
设计和优化千亿级参数大模型的分布式训练系统,支持文本基座预训练和原生多模态训练的正确性、性能和稳定性;负责训练框架核心模块(通信、调度、容错、Checkpoint、数据加载)的架构设计和性能优化,在同等硬件条件下持续提升训练吞吐
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和优化千亿级参数大模型的分布式训练系统,支持文本基座预训练和原生多模态训练的正确性、性能和稳定性
- 负责训练框架核心模块(通信、调度、容错、Checkpoint、数据加载)的架构设计和性能优化,在同等硬件条件下持续提升训练吞吐
- 协同算法迭代和硬件演进,针对新模型架构(MoE、超长序列、多模态融合)快速完成训练适配和性能验证
- 作为工程Pipeline的上游起点,持续推进训练Infra的架构迭代方向
- 构建并提升在线RL训练系统的性能和Scale能力,打通策略更新、环境交互、奖励建模的端到端训练流程
- 支持Chat/Thinking/Agentic以及未来多种RL范式(PPO/GRPO/DPO等),和算法Codesign推进RL架构迭代
- 设计高效的Actor-Critic架构、经验回放机制和分布式采样系统
- 负责RL训练的性能瓶颈分析和优化,包括GPU利用率提升、通信开销降低、训练稳定性保障
- 建设迭代多种异构算力(GPU/NPU等)的验证和适配方案,包括稳定性保障、精度验证和高性能runtime
- 开发调优GPU和NPU架构的通信算子,推进超节点架构的最佳实践
- 面向RL采样场景,深入优化NPU架构的推理性能
- 跟踪硬件生态发展,评估新硬件的技术价值,输出选型建议和规模化落地方案
- 定制开发高性能计算内核,深入发掘GPU/NPU等不同硬件架构的优化空间
- 推进算子开发范式的迭代,探索自动化算子生成(如LLM辅助生成高性能kernel)
任职要求
- 计算机科学、人工智能、软件工程或相关专业本科及以上学历
- 精通分布式系统原理,有大规模分布式训练系统开发经验
- 熟悉深度学习框架(如PyTorch、TensorFlow)及其底层机制
- 具备高性能计算(HPC)或GPU编程(CUDA)经验
- 了解强化学习基本算法(如PPO、DPO)者优先
- 有异构算力(GPU/NPU)适配或优化经验者优先
- 具备良好的团队协作和沟通能力,能跨团队推动技术落地
福利待遇
- 参与业界前列规模的计算集群和海量数据训练
- 深度参与美团大模型研发,推动前沿技术落地
- 与顶尖算法和硬件团队合作,实现模型与硬件深度联合设计
- 丰富的应用场景和职业发展空间
- 有竞争力的薪酬和福利待遇
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。