返回岗位列表

AI院-GLM团队-预训练算法工程师

查看原岗位

地点：北京薪资：薪资未公开日期：2025-03-04

岗位摘要

参与数学或代码大模型预训练的研发工作，包括模型的预训练、对齐和评测等；负责构建和优化数学或代码的预训练和对齐数据，提升模型在数学或代码任务上的效果；探索针对数学或代码任务的数据合成方法，提升模型在数学或代码任务上的泛化能力

岗位职责

参与数学或代码大模型预训练的研发工作，包括模型的预训练、对齐和评测等
负责构建和优化数学或代码的预训练和对齐数据，提升模型在数学或代码任务上的效果
探索针对数学或代码任务的数据合成方法，提升模型在数学或代码任务上的泛化能力

任职要求

自然语言处理、机器学习等相关专业，硕士及以上学历
较强的算法开发能力，熟悉常用的机器学习、深度学习算法
熟练使用Pytorch、Huggingface、DeepSpeed等框架
对Transformer的架构有较为深入的理解，了解Transformer的各种变体，有相关的研究经验者优先
在ACL，NeurIPS，ICLR，EMNLP等顶级会议或期刊上发表过论文者优先
熟悉并行训练框架，有多机多卡训练经验者优先
熟悉CUDA编程/Triton编程，有相关算子加速经验者优先

加分项

在ACL，NeurIPS，ICLR，EMNLP等顶级会议或期刊上发表过论文者优先
熟悉并行训练框架，有多机多卡训练经验者优先
熟悉CUDA编程/Triton编程，有相关算子加速经验者优先