智能体后训练：计算机使用研究
岗位摘要
设计并运行实验，提升智能体在复杂计算机使用场景中的模型行为，包括桌面和浏览器；端到端负责后训练栈的改进，包括强化学习、数据管道、评分器、奖励信号、评估、诊断和模型行为分析；构建评估和环境，暴露下一批模型失败，并将这些失败转化为训练数据、产品修复或新研究方向
岗位职责
- 设计并运行实验，提升智能体在复杂计算机使用场景中的模型行为，包括桌面和浏览器
- 端到端负责后训练栈的改进，包括强化学习、数据管道、评分器、奖励信号、评估、诊断和模型行为分析
- 构建评估和环境，暴露下一批模型失败，并将这些失败转化为训练数据、产品修复或新研究方向
- 与 Codex 和 ChatGPT 产品团队合作，理解用户需求，并将产品信号转化为模型改进
- 参与早期训练和对齐干预，包括数据混合、目标、合成数据和评估循环，以塑造下游智能体行为
- 帮助决定哪些集成、能力和修复已准备好纳入重大模型训练运行
- 改进大规模训练和发布的机制：实验速度、可靠性、可观测性、可复现性、成本、延迟和生产就绪度
- 承担跨职能项目，涉及模型训练、产品基础设施和生产智能体运行框架，例如多智能体系统或直接针对类生产环境进行训练
- 调试已发布或即将发布模型中的困难失败，将杂乱的定性行为转化为具体假设、实验和修复
任职要求
- 在机器学习、软件工程、系统、统计或相关领域具备扎实技术基础，并能快速学习未接触过的部分
- 具备大语言模型、强化学习、RLHF/RLAIF、后训练、评估、评分器、合成数据、模型训练、编码智能体、工具使用智能体或生产机器学习系统的实践经验
- 对开放式问题充满热情，路径不清晰、信号有噪声，正确答案需要研究品味和工程执行力