大模型Infra/算法工程师
岗位摘要
负责超大规模GPU集群分布式训练技术的研究与实现，提升MOE大模型和强化学习的训练吞吐；开展大模型前沿算法的调研与实现工作；进行大模型训练框架和推理框架的研发与性能调优；熟悉Python或C++，具备扎实的算法和计算机基础、良好的编程风格
岗位职责
- 负责超大规模GPU集群分布式训练技术的研究与实现，提升MOE大模型和强化学习的训练吞吐
- 开展大模型前沿算法的调研与实现工作
- 进行大模型训练框架和推理框架的研发与性能调优
任职要求
- 熟悉Python或C++，具备扎实的算法和计算机基础、良好的编程风格
- 熟悉深度学习和大模型训练相关算法
- 熟练使用深度学习框架，包括但不限于PyTorch/JAX/Paddle等
- 有强烈的工作责任心，具备较好的学习能力、沟通能力和自驱力
- 有大规模GPU集群性能优化和训练经验者优先
- 熟悉大模型训练框架和推理框架，包括但不限于Megatron/DeepSpeed/ColossalAI/TorchTitan/SGLang/vLLM等优先
- 熟悉大模型算法，如大模型基础架构/强化学习/多模态/视频生成等优先
- 在顶级会议发表论文或有竞赛经验者优先考虑
- 熟悉CUDA相关开发者优先
加分项
- 有大规模GPU集群性能优化和训练经验优先
- 熟悉大模型训练框架和推理框架，包括不限于Megatron/DeepSpeed/ColossalAI/torchtitan/sglang/vllm等
- 熟悉大模型算法，如大模型基础架构/强化学习/多模态/视频生成等
- 在顶级会议发表论文或有竞赛经验优先考虑
- 熟悉cuda相关开发
- 汪先生 刚刚活跃
工作地址
深圳南山区科兴科学园南山区科苑路15号科兴科学园