模型评估技术项目经理
岗位摘要
标准化评估结果的生成、记录、跨模型版本比较以及向利益相关者传达的方式；负责模型发布的端到端评估准备就绪工作——跟踪哪些评估已准备就绪、哪些需要在过往模型上评分、以及哪些符合营销材料的标准
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 标准化评估结果的生成、记录、跨模型版本比较以及向利益相关者传达的方式
- 负责模型发布的端到端评估准备就绪工作——跟踪哪些评估已准备就绪、哪些需要在过往模型上评分、以及哪些符合营销材料的标准
- 建立并强制执行评估纳入的明确标准：历史模型得分、最先进的性能以及竞争对手比较
- 在研究团队、营销和产品团队之间进行协调，将评估状态整合到单一事实来源中
- 维持高标准：确保报告的统计数据以诚实、准确和透明的方式反映模型能力
- 尽早参与模型开发周期，帮助制定强化学习环境的评估计划
- 与研究及基础设施团队合作，改进底层评估基础设施——评估同步器可靠性、结果存储与查询、自动化能力
- 根据研究人员需求，推动评估工具增强的优先级排序
- 识别跨发布周期的模式，并推动系统性修复而非点状解决方案
- 与产品经理和研究人员合作，改进并实施高优先级评估发布
- 维护并确定评估路线图的优先级——与跨职能团队合作，确定即将到来的发布和产品需求需要哪些新评估
- 实施一个反映日益复杂评估环境的运营模式
- 构建轻量级但严谨的跟踪系统——将关键信息移入结构化格式，以实现更好的决策
- 创建评估仪表板，提供关于关键评估训练进度的实时可见性，以便在分数出现问题时能够更早地进行干预
- 记录评估流程、要求和经验教训，以建立机构知识
- 与基础设施团队协调大规模评估的计算资源分配
任职要求
- 拥有5年以上技术项目管理经验，并有为混乱、高风险协调问题带来秩序的记录
- 具备科学深度和对数据极高的质量标准
- 拥有机器学习/人工智能评估方法论的经验
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。