大模型算法工程师-模型风洞/量化感知
岗位摘要
参与模型风洞的构建,主要涉及优化器实验、数据风洞、Scaling实验等工作;开展模型风洞实验,为大规模模型训练提供科学指导;参与量化感知训练(QAT),负责QAT风洞实验及训练方法的优化
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 参与模型风洞的构建,主要涉及优化器实验、数据风洞、Scaling实验等工作
- 开展模型风洞实验,为大规模模型训练提供科学指导
- 参与量化感知训练(QAT),负责QAT风洞实验及训练方法的优化
- 开展QAT相关研发,持续提升QAT训练效率与训练效果
- 根据业务需求复现相关自然语言处理算法
- 参与前沿算法与应用的研究探索
任职要求
- 自然语言处理、机器学习及相关专业背景,3年以上相关工作经验
- 具备较强的算法开发能力,熟悉C++、Python、Shell、CUDA等一种或多种编程语言
- 掌握传统NLP及深度学习NLP相关算法,并具有实际项目经验
- 熟练使用PyTorch、TensorFlow、DeepSpeed、Megatron等深度学习框架中的至少一种
- 具有多机多卡训练经验、QAT训练经验或低位宽量化经验者优先
- 具有优化器调优、Scaling-Law实验、超参数搜索方向经验者优先
- 对深度学习、Transformer架构、预训练技术有深入理解,能根据论文复现相关算法,有大规模预训练模型研发和训练经验者优先
- ACL、EMNLP、COLM、NAACL等顶级会议高质量论文作者优先
工作地址
北京海淀区科建大厦301
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。