模型&Agent评测系统工程师
岗位摘要
负责模型与Agent通用评测平台系统、评测框架设计及功能开发；设计构建评测基准，包括评测集构建、流水线搭建，推动评测基准向自动化评测转化；设计构建各类Agent执行环境，包括工具调用、测试与结果验证等
岗位职责
- 负责模型与Agent通用评测平台系统、评测框架设计及功能开发
- 设计构建评测基准，包括评测集构建、流水线搭建，推动评测基准向自动化评测转化
- 设计构建各类Agent执行环境，包括工具调用、测试与结果验证等
- 改进优化评测平台和框架，提升评测稳定性和复测效率
- 与算法团队深度协作，解决各类评测问题，构建各类数据生产工具
任职要求
- 本科及以上学历，计算机等相关专业，3年及以上前后端开发经验
- 具备扎实的软件工程能力，熟练掌握Python、Go、Java、TypeScript等开发语言，精通至少一种，具备全栈开发能力
- 熟练掌握各类开发语言生态框架、中间件应用等，具备一定的架构设计能力，能够合理利用技术框架、组件、工具解决技术问题
- 负责或参与过评测类平台、框架的设计开发，有一定Agent开发经验，具备LLM评测/基准构建经验
- 有大模型、算法工程相关工作经历，有较强自驱力，能够独立负责和解决问题
- 有开源项目或参与过开源项目经验优先，熟练应用各类Agent，具备AI原生思维
工作地址
北京海淀区大恒科技大厦12F