评测工程师 - 智能体方向
岗位摘要
从0到1搭建覆盖基础模型与应用模型的评测体系，包括评测集构建、评估流程设计、评估指标定义等，推动评测方法论持续迭代，弥补商业化评测、人评/体感评测、黑盒评测等维度的空白；设计并落地端到端的评测自动化Pipeline，提升评测效率和覆盖度，避免人力高成本、低效率的模式
岗位职责
- 从0到1搭建覆盖基础模型与应用模型的评测体系，包括评测集构建、评估流程设计、评估指标定义等，推动评测方法论持续迭代，弥补商业化评测、人评/体感评测、黑盒评测等维度的空白
- 设计并落地端到端的评测自动化Pipeline，提升评测效率和覆盖度，避免人力高成本、低效率的模式
- 完善开源benchmark的集成工作，同时针对公司模型特点建设自研评测集，确保评测能有效暴露模型问题并引导迭代方向
- 建立评测到模型迭代的闭环机制，确保评测不只是打分，而是转化为可落地的模型优化建议，推动模型能力提升
- 组建并管理评测团队（目标10人左右），涵盖开源评测、商业化评测、人评/体感评测、黑盒评测等模块
- 与文本、多模态+具身、语音、平台等协作，评测结论能有效赋能各项目组
- 以客观、权威的视角进行红蓝对抗式评测，不怕Say No，避免内部一片peace但模型实际能力不够
任职要求
- 技术出身：有模型训练或算法背景，对模型有深度认知，理解评测方式如何引导模型迭代
- 大模型评测经验：有基础模型评测体系搭建经验，熟悉LLM/多模态/语音等模型评测维度和方法论
- 系统化能力：能够从0到1搭建评测体系，完成从idea到方案到执行的全流程
- 自动化平台建设能力：有评测自动化平台建设经验，能够将人工评测流程抽象为可复用的平台能力
- Aggressive且有判断力：敢于以红蓝对抗心态审视模型，不因内部压力而妥协评测标准，不怕得罪人
- 沟通协调能力强：在保持中立权威的同时，能够与各模型团队良性协作，不造成内耗
- 管理能力：有团队管理经验，能有效分配任务、培养团队
- 加分项：有从0到1搭建评测团队的经历；了解多模态评测、Agent评测、RAG评测等前沿方向；有模型发版评审、安全合规评测经验
加分项
- 有从0到1搭建评测团队的经历
- 了解多模态评测、Agent评测、RAG评测等前沿方向
- 有模型发版评审、安全合规评测经验