大模型评测基建工程师
岗位摘要
构建真实工作场景/Code Task Benchmark（基于Docker的任务）；设计Agent执行环境，包括代码运行、测试与结果验证框架；研发CodeAgent框架，实现任务规划、代码生成、执行与迭代闭环
岗位职责
- 构建真实工作场景/Code Task Benchmark（基于Docker的任务）
- 设计Agent执行环境，包括代码运行、测试与结果验证框架
- 研发CodeAgent框架，实现任务规划、代码生成、执行与迭代闭环
- 构建Agent Runtime，包括工具调用、环境管理与执行状态控制
- 搭建可扩展的模型对比评测系统（多模型评估）
- 优化Agent执行稳定性、可复现性与评测效率
- 推动研究能力向工程系统转化，支持模型与Agent的快速迭代
任职要求
- 扎实的软件工程能力，熟练掌握Python、Go、TypeScript等开发语言
- 熟悉Docker/Linux环境与自动化执行流程
- 理解LLM Agent工作机制与工具调用模式
- 熟悉测试体系、任务执行与自动化工作流设计
工作地址
北京海淀区大恒科技大厦南座