AI评测开发工程师
岗位摘要
参与多模态大模型评测体系建设，包括文本、语音、图片、视频生成等多模态模型评测，制定评测方案、评测指标，构建行业基准评测集；开发自动化、可扩展、可靠的评测系统，提高自动评估占比，缩短评测周期
岗位职责
- 参与多模态大模型评测体系建设，包括文本、语音、图片、视频生成等多模态模型评测，制定评测方案、评测指标，构建行业基准评测集
- 开发自动化、可扩展、可靠的评测系统，提高自动评估占比，缩短评测周期
- 针对阶段性迭代重点和行业变化，构建并动态调整评测集，持续探索模型能力边界
- 对模型能力进行深度分析，明确版本优势与缺陷，拦截能力下限问题
- 持续追踪大模型行业发展，对重点版本模型进行横向对比评测，量化行业能力水平
任职要求
- 计算机相关专业本科及以上学历
- 熟练掌握Python编程语言
- 3-5年相关工作经验
福利待遇
- 提供有竞争力的薪酬待遇（30-50K）
- 位于北京海淀区蓟门壹号，交通便利
工作地址
北京海淀区蓟门壹号8楼