预训练算法工程师
岗位摘要
参与数学或代码大模型预训练的研发工作，包括模型的预训练、对齐和评测等；负责构建和优化数学或代码的预训练和对齐数据，提升模型在数学或代码任务上的效果；探索针对数学或代码任务的数据合成方法，提升模型在数学或代码任务上的泛化能力
岗位职责
- 参与数学或代码大模型预训练的研发工作，包括模型的预训练、对齐和评测等
- 负责构建和优化数学或代码的预训练和对齐数据，提升模型在数学或代码任务上的效果
- 探索针对数学或代码任务的数据合成方法，提升模型在数学或代码任务上的泛化能力
任职要求
- 自然语言处理、机器学习等相关专业，硕士及以上学历
- 较强的算法开发能力，熟悉常用的机器学习、深度学习算法
- 熟练使用Pytorch、Huggingface、DeepSpeed等框架
- 对Transformer的架构有较为深入的理解，了解Transformer的各种变体，有相关的研究经验者优先
- 在ACL、NeurIPS、ICLR、EMNLP等顶级会议或期刊上发表过论文者优先
- 熟悉并行训练框架，有多机多卡训练经验者优先
- 熟悉CUDA编程/Triton编程，有相关算子加速经验者优先
加分项
- 在ACL，NeurIPS，ICLR，EMNLP等顶级会议或期刊上发表过论文者优先
- 熟悉并行训练框架，有多机多卡训练经验者优先
- 熟悉CUDA编程/Triton编程，有相关算子加速经验者优先
工作地址
北京海淀区搜狐网络大厦8层