分布式训练算法工程师
岗位摘要
支持万卡集群分布式训练性能稳定性优化，确保训练精度对齐；针对具体训练模型，拆解优化算法，达成性能优化目标；研究并适配优化常见分布式训练框架；研究和实现前沿大模型性能优化算法；数学、自动化、计算机、软件、通信等相关专业背景
岗位职责
- 支持万卡集群分布式训练性能稳定性优化，确保训练精度对齐
- 针对具体训练模型，拆解优化算法，达成性能优化目标
- 研究并适配优化常见分布式训练框架
- 研究和实现前沿大模型性能优化算法
任职要求
- 数学、自动化、计算机、软件、通信等相关专业背景
- 对新算力设备、国产算力设备及AI领域研究抱有浓厚兴趣
- 对深度学习和分布式优化方向的基本算法有较好理解，具有大规模集群训练和调优经验
- 具备扎实的编程、代码阅读及调试能力
- 熟悉PyTorch；了解大模型框架，如Megatron、DeepSpeed、ColossalAI、FSDP等
- 了解稠密、稀疏、多模态模型训练和推理算法
- 加分项：具有较强科研能力，曾在顶级会议发表论文
- 加分项：有竞赛刷榜经历或ACM竞赛获奖经历
加分项
- 具有较强的科研能力，曾在顶级会议发表论文
- 有竞赛刷榜经历或 ACM 竞赛获奖经历
福利待遇
- 薪资范围：30,000至60,000元/月，共16薪
工作地址
北京朝阳区望京国际研发园I座