大模型评测算法工程师（Code Agent方向）
岗位摘要
面向Code Agent和大语言模型开展能力评测，接入内外部Benchmark，并自主构建核心评测基准，探索不同模型的能力边界与短板；根据不同评测目标设计分层Harness：在基础能力探索场景中使用极简Harness，在Coding等专业场景中结合工具链搭建强Harness
岗位职责
- 面向Code Agent和大语言模型开展能力评测，接入内外部Benchmark，并自主构建核心评测基准，探索不同模型的能力边界与短板
- 根据不同评测目标设计分层Harness：在基础能力探索场景中使用极简Harness，在Coding等专业场景中结合工具链搭建强Harness
- 负责自研的类Copilot CLI产品的评测与迭代，分析代码理解、任务规划、工具调用、多轮交互等环节的问题，推动产品能力优化
- 分析模型执行轨迹和评测数据，识别上下文遗忘、指令偏移、工具调用错误、任务规划失败等典型问题，沉淀回归用例及训练数据
- 参与建设兼容多模型、多Harness、多Benchmark的通用评测框架，并将评测结论应用于模型训练、数据优化及产品迭代
任职要求
- 熟悉大语言模型、AI Agent或Code Agent的基本原理，理解任务规划、工具调用、上下文管理及多轮交互等机制
- 具备大模型评测、Benchmark构建、模型实验、数据构造或Agent算法相关经验
- 具备较强的实验设计、数据分析和问题归因能力，能够设计评测指标并分析模型能力短板
- 熟练掌握Python，能够独立完成评测实验、数据处理、Harness开发及相关工具实现
- 熟悉Cursor、Copilot、Claude Code、Cline、Roo Code等AI编程工具，具备良好的软件开发和代码调试能力
加分项
- bench、Terminal
- Bench 等 Coding Agent Benchmark，或有评测基准建设经验
- 具备大模型后训练、训练数据构造或模型轨迹数据处理经验
- 有 Code Agent、开发者工具或大模型评测相关开源项目及研究经历
- 熟悉 Agent Runtime、沙箱环境、容器化执行或自动化评测框架
- 智谱华章 · 高级HRBP
福利待遇
- 薪资40-70K，16薪
工作地址
北京海淀区搜狐网络大厦11层