大模型评测开发工程师（Code Agent方向）
岗位摘要
面向主流Code Agent（如Claude Code、Roo Code、Cline、OpenCode等）及其底层大模型，设计并执行系统化评测，覆盖真实开发任务、长程多轮交互、工具调用、代码修改与提交、测试/构建/部署等全链路场景，识别优势与短板
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 面向主流Code Agent（如Claude Code、Roo Code、Cline、OpenCode等）及其底层大模型，设计并执行系统化评测，覆盖真实开发任务、长程多轮交互、工具调用、代码修改与提交、测试/构建/部署等全链路场景，识别优势与短板
- 参与构建并持续迭代Code Agent评测体系与标准，定义任务分层、指标体系、数据规范与打分口径，确保评测过程科学、可复现、可对比、可迭代
- 设计并开发可扩展的自动化评测框架，支持多模型/多工具并行跑分与结果对齐、任务编排与环境隔离、过程日志与行为记录、结果归档、可视化与回归检测
- 输出可复现的缺陷清单与复现脚本，定位agent的典型失败模式（指令偏移、工具误用、上下文遗忘、代码污染、测试投机、幻觉修复等），并沉淀为回归用例
- 定期输出深度评测报告，包含不同agent/模型的对比分析、关键案例拆解、指标解读、优化建议及潜在产品机会（交互、权限、记忆、工作流、IDE集成等）
- 构建高质量demo与标准化任务集（含repo、问题描述、验收标准、隐藏测试/评审规则），帮助团队理解agent能力边界，支撑模型优化与产品方向探索
任职要求
- 有独立开发者背景或具备完整应用项目开发经验，能独立负责关键模块设计实现
- 熟练掌握至少两门编程语言（Python/TypeScript/Golang/Rust等）
- 一年以上Code Agent深度使用经验（如Cursor、Copilot、Claude Code等），熟悉agent的多轮协作、工具调用与代码变更工作流
- 具备强逻辑思维与数据分析能力，能从复杂体验中抽象出指标、对照组与可复现评测流程；能对评测结果做统计解释与误差分析
- 有AI辅助开发相关的开源项目经验，或独立开发过有真实用户的产品；或组织过团队级代码评审/质量体系建设（加分项）
- 在AI Coding/Agent评测领域有内容输出经历（教程、测评文章、项目案例、基准设计、工具链实践等）（加分项）
- 有Benchmark/评测工程经验：如任务集设计、回归测试体系、CI集成、容器化评测、日志与可观测性建设等（加分项）
- 具备产品思维，能从用户视角提出可落地的agent产品优化方向（交互、可控性、权限/安全、可解释性、成本效率等）（加分项）
加分项
- 有 AI 辅助开发相关的开源项目经验，或独立开发过有真实用户的产品
- 或组织过团队级代码评审/质量体系建设
- 在 AI Coding / Agent 评测领域有内容输出经历（教程、测评文章、项目案例、基准设计、工具链实践等）
- 有 Benchmark/评测工程经验：如任务集设计、回归测试体系、CI 集成、容器化评测、日志与可观测性建设等
- 具备产品思维，能从用户视角提出可落地的 agent 产品优化方向（交互、可控性、权限/安全、可解释性、成本效率等）
- 张禹 本月活跃
工作地址
北京海淀区搜狐网络大厦搜狐网络大厦11层
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。