大模型数据Eval产品经理
岗位摘要
设计、搭建并持续迭代大模型多维度评测框架，实现模型能力的可衡量、可对比、可解释；与算法团队配合，将评测结论转化为数据需求，寻找提升模型智能的关键数据并推动落地；跟踪前沿论文与开源社区动态，第一时间将新评测维度、数据策略落地到业务中
岗位职责
- 设计、搭建并持续迭代大模型多维度评测框架，实现模型能力的可衡量、可对比、可解释
- 与算法团队配合，将评测结论转化为数据需求，寻找提升模型智能的关键数据并推动落地
- 跟踪前沿论文与开源社区动态，第一时间将新评测维度、数据策略落地到业务中
- 运用产品思维发现问题并推动解决，持续提升模型能力
任职要求
- 具备Python/Go/Java/C++任意语言使用经验，能独立编写脚本、调用API、搭建小工具
- 逻辑思维强，对用数据说话有执念，熟悉SQL/Pandas/Jupyter等分析工具
- 对大模型有基础认知（使用过GPT、Claude等），能快速理解SFT、RL等概念
- 有参与过大模型benchmark、evaluation等方向的工作经验
- 有创业经验或开源项目贡献或研发背景转产品者优先
- 英语读写流畅
福利待遇
- 月薪30-55K，16薪制
工作地址
北京海淀区京东科技大厦13F