大模型评测基建工程师
岗位摘要
构建真实工作场景及基于Docker的代码任务基准测试（Code Task Benchmark）；设计Agent执行环境，包括代码运行、测试与结果验证框架；研发CodeAgent框架，实现任务规划、代码生成、执行与迭代闭环
岗位职责
- 构建真实工作场景及基于Docker的代码任务基准测试（Code Task Benchmark）
- 设计Agent执行环境，包括代码运行、测试与结果验证框架
- 研发CodeAgent框架，实现任务规划、代码生成、执行与迭代闭环
- 构建Agent Runtime，涵盖工具调用、环境管理与执行状态控制
- 搭建可扩展的多模型对比评测系统（multi-model evaluation）
- 优化Agent执行稳定性、可复现性与评测效率
- 推动研究能力向工程系统转化，支持模型与Agent的快速迭代
任职要求
- 具备扎实的软件工程能力，熟练掌握Python、Go、TypeScript等开发语言
- 熟悉Docker/Linux环境与自动化执行流程
- 理解LLM Agent工作机制与工具调用模式
- 具有复杂系统设计与工程落地经验
- 熟悉测试体系、任务执行与自动化workflow设计
- 【优先】具有LLM evaluation/benchmark构建经验
- 【优先】熟悉SWE-bench或类似代码任务评测框架
- 【优先】有CodeAgent或自动化编程系统开发经验
- 【优先】熟悉Agent orchestration / multi-agent framework
- 【优先】具有模型比较或大规模实验平台相关经验