高级/资深应用科学家
岗位摘要
与产品数据科学和工程团队合作，改进在线A/B实验的技术、工具和流程，以支持各产品领域的严谨决策；根据利益相关者反馈开发和维护A/B实验平台；编写代码或选择供应商，将这些技术以可扩展且易于使用的方式部署到生产环境
岗位职责
- 与产品数据科学和工程团队合作，改进在线A/B实验的技术、工具和流程，以支持各产品领域的严谨决策
- 根据利益相关者反馈开发和维护A/B实验平台
- 编写代码或选择供应商，将这些技术以可扩展且易于使用的方式部署到生产环境
- 对文档/URL上传等核心用例进行端到端评估，包括评估集生成、制定评估标准和结果解释方法
- 将端到端评估分解为更细粒度的任务和技能评估，如内容摘要/分析/生成、多步推理与策略制定、工具选择与使用、编码与系统设计
- 设计、开发并拥有跨各种评估问题的最佳实践、工具和流程，例如查询意图分类、标准化处理LLM随机性的统计原则应用、行业基准测试
任职要求
- 硕士学历需5年以上相关经验，博士学历需3年以上经验（统计学、数学、计算机科学或其他定量领域硕士/博士学位）
- 在统计学和/或机器学习方面有扎实基础，并有将这些技能应用于产品、内部工具和流程改进的实际经验