大模型评测算法工程师
岗位摘要
跟踪大模型及AIGC前沿进展，深入理解完整研发链路，识别关键评测问题与质量目标；围绕模型能力和业务需求，建立基础模型、多模态、语音、Agent等方向的评测框架，明确评测维度和标准；设计科学有效的评测方案，建设评测集、任务环境和评测流程，结合多种评测方式全面衡量模型能力
岗位职责
- 跟踪大模型及AIGC前沿进展，深入理解完整研发链路，识别关键评测问题与质量目标
- 围绕模型能力和业务需求，建立基础模型、多模态、语音、Agent等方向的评测框架，明确评测维度和标准
- 设计科学有效的评测方案，建设评测集、任务环境和评测流程，结合多种评测方式全面衡量模型能力
- 分析不同版本及实验方案的评测结果，识别模型能力变化、失败模式和潜在风险，为训练和优化提供依据
- 基于评测结果提出改进建议，推动团队优化并验证效果，形成闭环
- 探索LLM-as-a-Judge、自动化红队、对抗评测等前沿方法，推动评测平台自动化、标准化和规模化
任职要求
- 计算机、人工智能、数学、统计学等相关专业本科及以上学历，具备机器学习、NLP、CV、语音、多模态或Agent至少一个方向实践经验
- 理解大模型从数据构建、训练、对齐、部署到应用迭代的完整流程，能从研发视角理解评测问题
- 具备独立设计评测方案、分析实验结果、定位问题并提出改进建议的能力，熟练掌握Python和主流深度学习框架
- 具备良好的数据分析、工程实现和跨团队协作能力，有Owner意识，能推动评测结论转化为改进
加分项
- 有大模型训练、模型应用落地或性能优化相关经历
- 有评测集建设、人工评测、LLM-as-a-Judge、自动化 Grader、红队测试或模型安全评测经验
- 有大规模评测平台、持续评测、回归检测或模型质量体系建设经验
- 有高水平论文、开源项目或算法竞赛成果，或具备将评测问题抽象为研究课题并形成可复用方法和工具的能力