大模型评测算法架构师
岗位摘要
研究并跟踪国内外最新大模型技术进展，搭建和维护科学、高效、可扩展的模型评测体系；深入参与团队内部模型训练的性能分析与评估，聚焦基础模型、多模态（图像、语音、Agent）和前沿技术（如强化学习对齐、Prompt工程）等方向的能力定量分析
岗位职责
- 研究并跟踪国内外最新大模型技术进展，搭建和维护科学、高效、可扩展的模型评测体系
- 深入参与团队内部模型训练的性能分析与评估，聚焦基础模型、多模态（图像、语音、Agent）和前沿技术（如强化学习对齐、Prompt工程）等方向的能力定量分析
- 分析评测结果，挖掘模型潜在瓶颈并提出改进建议，持续提升模型质量与用户体验
- 参与制定模型评测的中长期规划，推动评测工具与流程自动化和标准化，构建业界领先的评测体系
任职要求
- 计算机、人工智能相关专业本科及以上学历
- 1年以上机器学习、数据挖掘或算法评测相关经验
- 具备深厚的机器学习、自然语言处理、多媒体理解、语音合成、数据挖掘理论功底，能够独立设计评测方案
- 熟练掌握Python/Java/C++中至少一种编程语言，熟悉PyTorch、TensorFlow等深度学习框架，以及OpenCompass/VLMEvalKit/EvalScope等评测框架
- 对前沿技术有敏锐洞察力，具备优秀的分析问题与解决问题能力