服务端资深工程专家
岗位摘要
主导Agent Benchmark的平台化落地,负责SWE、Terminal、Claw、MCP等多类Benchmark在评测平台上的整体接入与工程化,沉淀标准化、可复用的接入能力;构建评测运行底座,统筹沙盒环境、依赖管理、网络访问、并发调度等关键能力建设,保障大规模评测在生产环境下的稳定、可复现与…
岗位职责
- 主导Agent Benchmark的平台化落地,负责SWE、Terminal、Claw、MCP等多类Benchmark在评测平台上的整体接入与工程化,沉淀标准化、可复用的接入能力
- 构建评测运行底座,统筹沙盒环境、依赖管理、网络访问、并发调度等关键能力建设,保障大规模评测在生产环境下的稳定、可复现与高效运行
- 保障评测质量与可观测性,从Harness与打分逻辑出发,确保平台化改造后评测结果的准确可信,并建立完善的诊断与问题归因能力
- 衔接算法与工程,深入理解各Benchmark所考察的模型能力维度,作为算法团队与工程平台之间的技术桥梁,推动评测需求高质量落地
- 沉淀工程标准,推动评测任务、指标产物、结果归档、版本追溯等标准化规范,支撑评测能力被算法、产品、技术方向团队持续复用
任职要求
- 计算机相关专业本科及以上学历,5年及以上后端/平台/Infra研发经验
- 精通至少一门主流后端语言(Python/Go/Java等)
- 主导过中大型平台或系统的设计与落地,具备优秀的系统设计与工程实现能力
- 熟悉容器化与沙盒隔离、分布式系统、任务调度与并发控制,有大规模任务编排或性能优化经验;熟悉网络通信与代理机制,能处理外部接口访问与稳定性问题
- 了解大模型与Agent的基本原理,熟悉主流Agent Benchmark(如SWE-bench、Terminal-Bench、MCP相关评测等)的Harness与打分逻辑,并据此进行工程化抽象,能与算法团队就模型能力与评测指标深度对话
加分项
- 有搭建评测/实验平台或类似系统类基础设施从0到1的经验
- 有多终端/沙箱环境(虚拟设备、仿真环境)架构设计经验
- 主导过平台或新老系统整体演进、迁移的经验
- 对评测方法论(LLM-as-judge 等)有一定理解