研究工程师（数据采集）
岗位摘要
开发和维护我们的大规模网络爬虫；设计和运行实验，以评估数据质量、提取方法和爬取策略；分析爬取的数据，以识别模式、差距和改进机会；构建用于数据摄取、分析和质量改进的管道；为高价值数据源构建专门的爬虫
岗位职责
- 开发和维护我们的大规模网络爬虫
- 设计和运行实验，以评估数据质量、提取方法和爬取策略
- 分析爬取的数据，以识别模式、差距和改进机会
- 构建用于数据摄取、分析和质量改进的管道
- 为高价值数据源构建专门的爬虫
- 与预训练和标记团队合作，在爬取数据和数据评估结果之间建立反馈循环
- 与团队成员合作改进数据采集流程
- 参与代码审查和调试会议
任职要求
- 相信先进人工智能系统的变革潜力
- 对构建大规模系统以获取互联网上所有公开可访问的信息感兴趣
- 具有数据研究经验，包括设计实验和分析结果
- 曾从事网络爬虫或大规模数据采集系统的工作
- 能够在混合的研究-工程角色中自如工作，平衡系统构建与实验
- 至少拥有相关领域的学士学位或同等经验