大语言模型算法研究员（MOE方向）
岗位摘要
参与MoE模型的研发、部署、微调，主要涉及功能实现、性能优化、系统调优、硬件适配等工作；开展模型架构优化相关研发，从而提升模型训练与推理效率；根据需求复现相关自然语言处理算法；参与前沿算法与应用的研究
岗位职责
- 参与MoE模型的研发、部署、微调，主要涉及功能实现、性能优化、系统调优、硬件适配等工作
- 开展模型架构优化相关研发，从而提升模型训练与推理效率
- 根据需求复现相关自然语言处理算法
- 参与前沿算法与应用的研究
任职要求
- 自然语言处理、机器学习及相关专业，3年以上相关工作经验
- 较强的算法开发能力，熟悉C++、Python、Shell、CUDA等一种或多种编程语言
- 掌握传统NLP、深度学习NLP相关算法，并具有相关实战经验
- 熟练使用PyTorch、Megatron深度学习框架
- 有CUDA编程经验者优先
- 对深度学习、Transformer、预训练有一定深度的理解和经验，能根据论文复现相关算法，有大规模预训练模型研发和训练经验者优先
- 高质量相关论文ACL、EMNLP、COLM、NAACL作者优先
工作地址
北京海淀区科建大厦北京市海淀区科建大厦