Agent评测产品
岗位摘要
负责评测体系、评测集构建与迭代，覆盖基础模型和应用场景，推进模型和产品迭代进化；跟进最新学术研究与企业最佳实践，结合模型和产品发展阶段，明确模型迭代目标，定义Bench；与算法研究、专家团队合作，构建评测集，推进评测执行并完成评测报告
岗位职责
- 负责评测体系、评测集构建与迭代，覆盖基础模型和应用场景，推进模型和产品迭代进化
- 跟进最新学术研究与企业最佳实践，结合模型和产品发展阶段，明确模型迭代目标，定义Bench
- 与算法研究、专家团队合作，构建评测集，推进评测执行并完成评测报告
- 参与产品需求评审与技术评审，在需求阶段提出可评测性要求
任职要求
- 具备2年以上LLM/语音模型/Agent评测经验，能独立设计评测体系与指标，构建并持续迭代评测集
- 具备学术论文阅读与业务场景理解能力，能跟踪前沿研究和行业实践，将迭代目标转化为评测方案与Benchmark
- 具备跨团队协作与项目推进能力，能与算法研究、领域专家及产品团队合作，推进评测集建设与评测执行
- 具备评测分析与独立结论输出能力，能基于评测证据定位问题，输出评测报告与迭代建议，坚持客观的效果判断