分布式训练工程师
岗位摘要
研究与实现超大规模GPU集群分布式训练技术，提升MOE大模型和强化学习的训练吞吐量；开展大模型前沿算法调研与实现，服务于分布式训练性能与稳定性优化；负责大模型训练框架的研发与性能调优工作
岗位职责
- 研究与实现超大规模GPU集群分布式训练技术，提升MOE大模型和强化学习的训练吞吐量
- 开展大模型前沿算法调研与实现，服务于分布式训练性能与稳定性优化
- 负责大模型训练框架的研发与性能调优工作
任职要求
- 计算机、人工智能、软件工程等相关专业，具备扎实的算法与计算机基础，欢迎在读应届生投递
- 掌握Python或C++，具备良好编程风格，能够熟练使用PyTorch、Jax、Paddle等深度学习框架
- 熟悉深度学习及大模型训练相关算法
- 具备较强的责任心、学习能力、沟通能力与自驱力，工作细致有规划，善于挖掘问题本质
- 【加分项】有大规模GPU集群调优、参数服务器、多维并行、显存交换、MPI相关实践经验
- 【加分项】有Megatron、DeepSpeed、ColossalAI、TransformerEngine、torchtitan、sglang、vllm等框架实践经验
- 【加分项】有大模型算法研究、CUDA/triton/tilelang开发或算法与基础设施协同设计相关经历
- 【加分项】拥有顶级会议论文发表或竞赛获奖经历
加分项
- 有大规模 GPU 集群调优、参数服务器、多维并行、显存交换、MPI 相关实践 有 Megatron/DeepSpeed/ColossalAI/TransformerEngine/torchtitan/sglang/vllm 框架实践经验 有大模型算法研究、CUDA/triton/tilelang 开发、算法‑infra coDesign 相关经历 拥有顶会论文或者竞赛经历
- 刘女士 今日活跃
福利待遇
- 薪资范围25K至50K，共16薪
- 工作地点位于北京朝阳区望京国际研发园，地理位置优越
- 参与万卡以上大集群、万亿参数大模型训练调优的前沿实践机会
工作地址
北京朝阳区望京国际研发园I座