智能体后训练,API 与高级用户
岗位摘要
设计并运行实验,改进模型在 API 与高级用户工作流中的行为,包括函数调用、工具使用、编程、规划、长周期执行、事实性、指令遵循、错误恢复和校准推理;基于真实开发者与高级用户工作流构建评估、评分器和环境,并将观察到的失败转化为训练数据、模型行为假设和已交付的改进
岗位职责
- 设计并运行实验,改进模型在 API 与高级用户工作流中的行为,包括函数调用、工具使用、编程、规划、长周期执行、事实性、指令遵循、错误恢复和校准推理
- 基于真实开发者与高级用户工作流构建评估、评分器和环境,并将观察到的失败转化为训练数据、模型行为假设和已交付的改进
- 与 API 和高级用户合作,识别高杠杆行为差距,并将产品信号转化为后训练干预
- 改进模型在系统组合中的行为:可靠使用工具、尊重开发者意图、处理部分失败、在适当时请求澄清,并在多步任务中保持连贯
- 端到端负责模型行为项目,从定性失败分析到数据生成、训练实验、评估设计、集成到重大训练运行及发布就绪
- 开发反馈循环,利用高级用户轨迹、API 使用模式和类生产环境,发现下一前沿智能体模型的失败与差距
- 帮助决定哪些智能体能力、行为修复和合作团队集成可以纳入重大模型运行
- 调试已发布或接近发布模型中的困难失败,在轨迹、评估、训练数据、模型输出和产品上下文之间切换
- 参与早期训练与对齐干预,包括数据混合、目标、合成数据和评估循环,以塑造下游智能体行为
- 改进大规模训练与发布机制,如实验速度、可靠性等
任职要求
- 能够将模糊的模型行为问题转化为具体进展,覆盖工具使用、规划、指令遵循、错误恢复或 API 工作流中的模型行为
- 具备跨研究、工程、数据、评估和产品团队协作的意愿与能力
- 能够设计实验、评估、评分器和训练环境,并分析真实开发者与高级用户工作流中的模型失败
- 熟悉函数调用、工具使用、编程、长周期执行、事实性、指令遵循、错误恢复和校准推理等智能体能力者优先
- 具备高自主性,希望工作直接体现在前沿模型中,并能在模糊环境中推动项目落地