智能体后训练研究
岗位摘要
设计并运行实验，改进智能体模型在编码、工具使用、函数调用、计算机操作、多智能体协作、长时任务、事实性、指令遵循和校准推理等方面的行为；端到端负责后训练栈的改进，包括强化学习、数据管道、评分器、奖励信号、评估、诊断和模型行为分析
岗位职责
- 设计并运行实验，改进智能体模型在编码、工具使用、函数调用、计算机操作、多智能体协作、长时任务、事实性、指令遵循和校准推理等方面的行为
- 端到端负责后训练栈的改进，包括强化学习、数据管道、评分器、奖励信号、评估、诊断和模型行为分析
- 构建评估和环境，暴露下一批模型失败，并将这些失败转化为训练数据、产品修复或新研究方向
- 与Codex、API/平台和ChatGPT产品团队合作，理解用户需求，将产品信号转化为模型改进
- 参与早期训练和对齐干预，包括数据混合、目标、合成数据和影响下游智能体行为的评估循环
- 帮助决定哪些集成、能力和修复已准备好纳入主要模型训练
- 改进大规模训练和发布的机制：实验速度、可靠性、可观测性、可复现性、成本、延迟和生产就绪度
- 承担跨职能项目，涉及模型训练、产品基础设施和生产智能体框架，如多智能体系统或直接针对类生产环境训练
- 调试已发布或接近发布模型中的困难故障，将杂乱的定性行为转化为具体假设、实验和修复
任职要求
- 具备机器学习、软件工程、系统、统计或相关领域的扎实技术基础，并能快速学习跨领域知识
- 不局限于单一方法或子领域，能够处理模糊的能力问题，并在研究、工程、数据、评估和产品方面取得进展
- 对能在现实世界中行动的模型充满热情，包括编写和调试代码、使用工具、调用函数、操作计算机、与其他智能体协作，并为用户完成有价值的工作
- 能与研究人员、工程师、产品团队、基础设施团队以及安全/对齐伙伴合作，决定重大模型训练内容，衡量效果并发布改进
- 具有高自主性，希望工作直接落地到前沿模型
- 具备跨职能项目经验，涉及模型训练、产品基础设施和生产智能体框架
- 能调试已发布或接近发布模型中的困难故障，将定性行为转化为具体假设、实验和修复
- 工作地点可能为旧金山或伦敦，视团队需求和地点批准而定