大模型评测负责人

查看原岗位

地点：北京薪资：薪资未公开日期：2026-07-20

岗位摘要

从零到一构建覆盖文本、多模态（图/文/视频）、语音大模型的全生命周期评测体系，制定科学、客观、可量化的评测标准与指标；主导自动化评测平台与工具链的架构设计，实现大模型在预训练、SFT、RLHF等各阶段的自动化、常态化评测，支撑十亿/百亿/千亿级模型的快速迭代

计算机、数据科学、人工智能或相关专业硕士及以上学历（博士优先）
5年以上AI算法/NLP/多模态/语音相关研发或评测经验，2年以上团队管理经验
深入理解主流大模型（LLM, LMM, Audio-LLM）的原理、训练流程及局限性，精通主流开源评测框架（如 OpenCompass, AA等），并在多模态评估（VQA、视频理解）或语音评估（MOS、WER、端到端交互延迟）至少一个领域有深厚落地经验
熟悉 LLM-as-a-judge 机制，对人工评测（Human Evaluation）的信度/效度检验（如 Kappa 值、一致性校验）有严谨的方法论
极强的自驱力与批判性思维，对技术趋势敏感，能追踪最新的学术界/工业界评测动态