返回岗位列表

智谱AI

社招-AI院-大模型算法工程师-推理模型

地点:北京 薪资:薪资未公开 日期:2024-11-01

岗位摘要

目前的语言模型在日常对话和基础的推理和任务处理上已经取得了不错的性能,然而在处理复杂推理任务上,当前的语言模型还和人类存在较大的差距,因此提升模型高阶推理能力是进一步提升模型“智力”的重点。OpenAI o1 展示了模型通过长思考显著提升模型推理能力,模型能够自主探索和尝试复杂任务的正确求解方法…

岗位职责

  • 目前的语言模型在日常对话和基础的推理和任务处理上已经取得了不错的性能,然而在处理复杂推理任务上,当前的语言模型还和人类存在较大的差距,因此提升模型高阶推理能力是进一步提升模型“智力”的重点。OpenAI o1 展示了模型通过长思考显著提升模型推理能力,模型能够自主探索和尝试复杂任务的正确求解方法。我们关注提升模型自我探索和长思考的能力以及后训练可扩展性,期望模型在推理阶段能够通过更长的思考提升解决复杂逻辑推理和真实问题的能力。同时,我们关注在后训练阶段能够实现接近预训练阶段算力与模型效果的 scaling,让模型在训练阶段实现自我提升和迭代优化
  • 对齐数据优化;包括针对模型特定能力进行数据构造、筛选和优化,特定领域(如数学、代码、复杂推理)等数据筛选和合成;对齐数据的质量和多样性控制等
  • 后训练扩展性:探索模型如何通过更长的思维链推理,在复杂任务上取得更优的效果,post-training 阶段训练和推理的扩展能力
  • 强化学习算法优化:算法可扩展性和稳定性提升后训练 scaling 性能;多目标奖励模型优化以及结合CoT和过程监督优化奖励模型
  • 对齐范式探索:结合模型监督、self-improve 等进行训练优化探索;交互任务复杂推理;长文本生成优化
  • 强化学习框架效率优化:针对 LLM 强化学习训练需求,优化训练速度,开发和研究相关工具支持训练团队效率提升

任职要求

  • 985高校计算机、电子、自动化等相关专业硕士或博士学位(优秀本科生亦可考虑)
  • 深入理解常用的大模型算法;具备后训练及数据处理相关项目经验者优先
  • 在CCF-A类会议发表过相关论文者优先考虑
  • 熟练运用Pytorch、transformers、megatron等主流框架
  • 工作态度认真负责,具备良好的团队协作能力
  • 在ACL,NeurIPS,ICLR,EMNLP,ICML等顶级会议或期刊上发表过论文者优先
  • 熟悉并行训练框架,有多机多卡训练经验者优先
  • 邮箱投递:talent@zhipuai.cn;邮件标题:职位名称+姓名+毕业时间

加分项

  • 在ACL,NeurIPS,ICLR,EMNLP,ICML等顶级会议或期刊上发表过论文者优先
  • 熟悉并行训练框架,有多机多卡训练经验者优先
  • 智谱官网直接投递
  • 邮箱投递:talent@zhipuai.cn;邮件标题:职位名称+姓名+毕业时间