智能体后训练，工件研究
岗位摘要
设计并运行实验，以改进智能体模型在复杂软件和插件中的行为；端到端负责后训练栈的改进，包括强化学习、数据管线、评分器、奖励信号、评估、诊断和模型行为分析；构建评估和环境，以暴露下一批模型失败，并将这些失败转化为训练数据、产品修复或新研究方向
岗位职责
- 设计并运行实验，以改进智能体模型在复杂软件和插件中的行为
- 端到端负责后训练栈的改进，包括强化学习、数据管线、评分器、奖励信号、评估、诊断和模型行为分析
- 构建评估和环境，以暴露下一批模型失败，并将这些失败转化为训练数据、产品修复或新研究方向
- 与 Codex 和 ChatGPT 产品团队合作，理解用户需求，并将产品信号转化为模型改进
- 参与早期训练和对齐干预，包括数据混合、目标函数、合成数据和影响下游智能体行为的评估循环
- 协助决定哪些集成、能力和修复已准备好纳入重大模型训练运行
- 改进大规模训练和发布的机制，包括实验速度、可靠性、可观测性、可复现性、成本、延迟和生产就绪度
- 承担跨职能项目，涉及模型训练、产品基础设施和生产智能体框架，例如多智能体系统或直接针对类生产环境进行训练
- 调试已发布或即将发布模型中的棘手失败，并将混乱的定性行为转化为具体假设、实验和修复
任职要求
- 在机器学习、软件工程、系统、统计学或相关领域具备扎实技术基础，并能快速学习未曾涉足的部分
- 具备以下领域的实践经验：大语言模型、强化学习、RLHF/RLAIF、后训练、评估、评分器、合成数据、模型训练、编码智能体、工具使用智能体或生产机器学习系统
- 对开放式问题充满热情：路径不清晰、信号嘈杂，正确答案需要研究品味和工程执行
- 关心产品影响和模型行为，而不仅是基准分数变化；对什么使智能体有用有自己见解