大模型基础设施/算法工程师
岗位摘要
研究与实现超大规模GPU集群分布式训练技术，提高MOE大模型和强化学习的训练吞吐量；调研并实现大模型前沿算法，包括基础架构、强化学习、多模态及视频生成等方向；负责大模型训练框架和推理框架的研发与性能调优
岗位职责
- 研究与实现超大规模GPU集群分布式训练技术，提高MOE大模型和强化学习的训练吞吐量
- 调研并实现大模型前沿算法，包括基础架构、强化学习、多模态及视频生成等方向
- 负责大模型训练框架和推理框架的研发与性能调优
任职要求
- 熟悉Python或C++，具备扎实的算法和计算机基础，编程风格良好
- 熟悉深度学习及大模型训练相关算法
- 熟练使用深度学习框架，包括但不限于PyTorch、JAX、PaddlePaddle等
- 具有强烈的工作责任心，以及良好的学习能力、沟通能力和自驱力
- （加分）有大规模GPU集群性能优化和训练经验者优先
- （加分）熟悉Megatron、DeepSpeed、ColossalAI、torchtitan、sglang、vllm等训练或推理框架
- （加分）熟悉大模型算法，如基础架构、强化学习、多模态、视频生成等
- （加分）在顶级学术会议发表论文或有竞赛获奖经验者优先
- （加分）熟悉CUDA相关开发
加分项
- 有大规模GPU集群性能优化和训练经验优先
- 熟悉大模型训练框架和推理框架，包括不限于Megatron/DeepSpeed/ColossalAI/torchtitan/sglang/vllm等
- 熟悉大模型算法，如大模型基础架构/强化学习/多模态/视频生成等
- 在顶级会议发表论文或有竞赛经验优先考虑
- 熟悉cuda相关开发
福利待遇
- 薪资范围：40,000–70,000元/月，共16薪
- 工作地点：上海浦东新区长泰国际商业广场C座
工作地址
上海浦东新区长泰国际商业广场C座