高级技术员工,网络数据方向
岗位摘要
维护用于处理网络语料的大规模数据管道;开发过滤和质量评分系统,识别高价值网络文档;分析跨领域、跨语言和跨时间段的网络数据组成;开发并维护高性能的去重管道;与跨职能团队(包括研究人员和工程师)协作,确保数据管道满足前沿语言模型的需求
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 维护用于处理网络语料的大规模数据管道
- 开发过滤和质量评分系统,识别高价值网络文档
- 分析跨领域、跨语言和跨时间段的网络数据组成
- 开发并维护高性能的去重管道
- 与跨职能团队(包括研究人员和工程师)协作,确保数据管道满足前沿语言模型的需求
任职要求
- 具备扎实的软件工程技能,精通Python并有构建数据管道的经验
- 熟悉数据处理框架,如Apache Spark、Apache Beam、Pandas或类似工具
- 了解数据质量评估技术及数据混合实验方法
- 热衷于将研究与工程相结合,解决AI模型训练中复杂的数据相关挑战
- 加分项:在顶级会议(如NeurIPS、ICML、ICLR、AIStats、MLSys、JMLR、AAAI、Nature、COLING、ACL、EMNLP)发表过论文
福利待遇
- 每周75美元/75英镑或等值本地货币的午餐补贴
- 全面的健康和牙科福利,包括独立的心理健康预算
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。