大模型基础设施架构师
岗位摘要
研究并实现超大规模GPU集群分布式训练技术，提高MOE大模型和强化学习的训练吞吐；调研并实现大模型前沿算法；研发大模型训练框架和推理框架，并进行性能调优；熟悉Python或C++，具备扎实的算法和计算机基础，拥有良好的编程风格
岗位职责
- 研究并实现超大规模GPU集群分布式训练技术，提高MOE大模型和强化学习的训练吞吐
- 调研并实现大模型前沿算法
- 研发大模型训练框架和推理框架，并进行性能调优
任职要求
- 熟悉Python或C++，具备扎实的算法和计算机基础，拥有良好的编程风格
- 熟悉深度学习和大模型训练相关算法
- 熟练使用深度学习框架，包括但不限于PyTorch、JAX、Paddle等
- 有强烈的工作责任心，具备较好的学习能力、沟通能力和自驱力
- 有大规模GPU集群性能优化和训练经验者优先
- 熟悉大模型训练框架和推理框架，包括但不限于Megatron、DeepSpeed、ColossalAI、torchtitan、SGLang、vLLM等
- 熟悉大模型算法，如大模型基础架构、强化学习、多模态、视频生成等
- 在顶级会议发表论文或有竞赛经验者优先考虑
- 熟悉CUDA相关开发
加分项
- 有大规模GPU集群性能优化和训练经验优先
- 熟悉大模型训练框架和推理框架，包括不限于Megatron/DeepSpeed/ColossalAI/torchtitan/sglang/vllm等
- 熟悉大模型算法，如大模型基础架构/强化学习/多模态/视频生成等
- 在顶级会议发表论文或有竞赛经验优先考虑
- 熟悉cuda相关开发
- 汪伟 刚刚活跃
福利待遇
- 提供16薪薪酬
工作地址
北京朝阳区望京国际研发园l座3层