预训练算法工程师
岗位摘要
负责预训练数据的构建，包括领域分类、质量筛选、配比调整等；负责语言模型结构探索，包括高效的attention结构、降低部署成本的MoE架构等；负责新的预训练scaling范式探索，包括预训练与强化学习的结合、可扩展的预训练数据合成方法等
岗位职责
- 负责预训练数据的构建，包括领域分类、质量筛选、配比调整等
- 负责语言模型结构探索，包括高效的attention结构、降低部署成本的MoE架构等
- 负责新的预训练scaling范式探索，包括预训练与强化学习的结合、可扩展的预训练数据合成方法等
任职要求
- 硕士及以上学历，2027届毕业生，经验不限
- 在ACL、NeurIPS、ICLR、EMNLP、ICML等顶级会议或期刊上发表过论文者优先
- 熟悉并行训练框架，有多机多卡训练经验者优先
- 熟悉大模型预训练、SFT或强化学习者优先
加分项
- 在ACL，NeurIPS，ICLR，EMNLP，ICML等顶级会议或期刊上发表过论文者优先
- 熟悉并⾏训练框架，有多机多卡训练经验者优先；熟悉大模型预训练 / SFT / RL 者优先
福利待遇
- 薪资40-70K，16薪
工作地址
北京海淀区智谱华章科技有限公司