大模型/Agent 评测工程师（AI 研发方向）
岗位摘要
负责通用 Agent、Code Agent 及 AI 研发工具的评测体系设计与建设，支撑模型、Prompt、工具和 Agent 工作流的持续迭代；深入需求分析、技术方案设计、代码生成与修改、测试生成、代码评审、缺陷修复和故障诊断等研发场景，将真实研发流程抽象为可复现、可扩展的评测任务
岗位职责
- 负责通用 Agent、Code Agent 及 AI 研发工具的评测体系设计与建设，支撑模型、Prompt、工具和 Agent 工作流的持续迭代
- 深入需求分析、技术方案设计、代码生成与修改、测试生成、代码评审、缺陷修复和故障诊断等研发场景，将真实研发流程抽象为可复现、可扩展的评测任务
- 建立覆盖任务完成度、需求符合度、代码正确性、工具调用、规划执行、稳定性、安全性、成本和时延等维度的评测指标体系
- 负责评测数据和样本建设，持续沉淀真实任务、典型失败案例、线上反馈及核心回归用例，保障评测数据的代表性、区分度和可维护性
- 设计和研发自动化评测框架及平台，支持任务批量执行、过程数据采集、自动评分、版本对比、回归分析、异常告警和结果可视化
- 分析 Agent 的执行轨迹，定位其在需求理解、任务规划、上下文使用、工具调用、代码修改、测试执行和错误恢复等环节的问题，判断问题来源并提出改进建议
- 建立线上反馈与离线评测之间的闭环，将用户反馈、任务失败、人工接管和异常行为转化为可复现的评测与回归用例
- 与产品、算法、研发、测试及平台团队协作，推动评测结果应用于模型选择、Agent 优化、版本验收和发布决策
任职要求
- 计算机科学、软件工程、人工智能或相关专业本科及以上学历，具备 3 年及以上软件研发、测试开发、质量工程、研发效能或 AI 工程经验
- 熟练掌握 Python、Go、Java 或 TypeScript 中至少一种编程语言，具备良好的工程实现能力，能够独立完成评测工具、服务或平台模块的设计与开发
- 熟悉软件研发流程，了解 Git、CI/CD、自动化测试、容器化环境以及常见的软件构建、测试和发布方式
- 对大语言模型和 Agent 有较深入理解，熟悉 Prompt、上下文管理、任务规划、工具调用、多轮交互、代码执行及错误恢复等基本机制
- 具备评测方案设计能力，能够将模糊的质量问题转化为明确的评测任务、指标、评分规则和验收标准
- 具备良好的数据分析和实验能力，能够从评测数据和执行轨迹中发现规律、归纳失败类型并定位问题根因
- 具备较强的业务理解、逻辑分析和跨团队协作能力，能够推动评测方案在真实研发场景中落地
- 对 AI 编程和 Agent 技术保持高度关注，愿意持续探索新模型、新工具和新的评测方法
福利待遇
- 聚焦大模型与 Agent 前沿方向，参与通用 Agent、Code Agent 评测体系从设计到落地的完整建设
- 深入需求分析、技术设计、编码、测试和代码评审等真实研发流程，探索 AI 在复杂软件研发场景中的能力边界
- 参与评测框架、评测平台、指标体系及评测数据建设，形成从用例构建、自动执行到结果分析的完整实践
- 与模型、Agent、研发工具及业务团队紧密协作，通过评测发现问题并推动模型与智能体持续迭代
- 面向大规模、可复现的 Agent 评测挑战，积累 AI 评测、研发效能和平台工程等复合领域经验