校招 Code Agent算法工程师（Harness评测）
岗位摘要
设计与优化分层Harness，根据评测目标搭建极简Harness和完整Harness，评估不同配置对任务表现的影响；建设自动化评测框架，支持多模型、多Harness、多Benchmark的统一接入与对比，完善任务调度、环境隔离、执行记录、结果汇总及失败重试等能力
岗位职责
- 设计与优化分层Harness，根据评测目标搭建极简Harness和完整Harness，评估不同配置对任务表现的影响
- 建设自动化评测框架，支持多模型、多Harness、多Benchmark的统一接入与对比，完善任务调度、环境隔离、执行记录、结果汇总及失败重试等能力
- 接入与构建评测基准，接入SWE-bench、Terminal-Bench等内外部Benchmark，并结合真实开发需求构建代码理解、缺陷修复、功能开发、构建测试及长程任务等评测场景
- 设计评测指标与判定方法，围绕任务完成质量、执行效率、工具使用、指令遵循及运行稳定性等维度，结合可执行测试、规则校验和必要的人工复核，提升评测结果的可信度
- 开展执行轨迹分析与问题归因，定位规划失败、工具误用、上下文遗忘、指令偏移及异常恢复失败等问题，通过对照与消融实验区分影响因素
- 推动评测结果形成优化闭环，围绕自研类Copilot CLI产品，验证上下文管理、工具配置、记忆机制、执行策略等改进效果，沉淀回归用例、高质量轨迹及训练数据
任职要求
- 熟悉大语言模型及AI Agent的基本原理，理解任务规划、工具调用、上下文管理、多轮交互、记忆机制和错误恢复等机制
- 深度参与过Agent Harness、自动化评测框架、Benchmark建设或复杂Agent核心模块开发，能够独立完成评测任务接入、实验设计、执行分析及问题排查
- 熟练掌握Python，具备扎实的软件开发与调试能力，熟悉Linux、Git及常见构建测试工具，能够搭建和维护真实代码任务的运行与验证环境
- 具备较强的实验设计、数据分析和问题归因能力，能够控制实验变量，识别结果波动、环境异常及评测方法偏差
- 理解复杂任务和长程Agent的评测难点，关注任务成功判定、运行稳定性、执行成本及结果可复现性，能够设计具有区分度的任务和指标
- 熟悉AI编程工具或CLI Agent的使用与运行方式，能够结合执行轨迹、工具接口及上下文组织方式分析问题，具备超出日常工具使用层面的开发或评测实践
加分项
- bench、Terminal
- Bench、OSWorld、WebArena等Agent Benchmark，有任务构建、评测适配、结果复现或基准质量改进经验
- 熟悉Agent Runtime、沙箱、容器化执行、并发调度、权限管理、状态恢复或执行过程监控，有自动化评测基础设施建设经验
- 深度参与过Code Agent、AI编程工具、Browser/GUI Agent、Deep Research Agent或通用工作Agent的核心开发，具备真实复杂任务优化经验
- 具备大模型后训练、Agent强化学习、工具调用训练或轨迹数据构造经验，能够将评测发现转化为训练与数据优化方案
- 有Agent Harness、评测框架、Benchmark、开发者工具等相关开源项目、论文或产品落地经历
- 张女士 刚刚活跃
工作地址
北京海淀区搜狐网络大厦11层