返回岗位列表

高级软件工程师，数据采集

查看原岗位

地点：美国薪资：$325K-$405K 日期：2026-01-29

岗位摘要

负责并领导数据采集领域的工程项目，包括网络爬取、数据摄取和搜索；与数据处理、架构和扩展等子团队合作，确保数据流的顺畅和系统的可操作性；与法律团队紧密合作，处理合规性或数据隐私相关事宜；开发和部署能够处理PB级数据的高度可扩展的分布式系统

岗位职责

负责并领导数据采集领域的工程项目，包括网络爬取、数据摄取和搜索
与数据处理、架构和扩展等子团队合作，确保数据流的顺畅和系统的可操作性
与法律团队紧密合作，处理合规性或数据隐私相关事宜
开发和部署能够处理PB级数据的高度可扩展的分布式系统
设计和实现数据索引和搜索功能的算法
构建和维护数据存储的后端服务，包括键值数据库和同步工作
在Kubernetes基础设施即代码环境中部署解决方案，并进行常规系统检查
进行并分析数据实验，提供系统性能的洞察

任职要求

计算机科学或相关领域的学士/硕士/博士学位
6年以上软件开发的行业经验
有大型网络爬虫经验者优先
在大型有状态分布式系统和数据处理方面有深厚专业知识
精通Kubernetes和基础设施即代码概念
愿意并热衷于尝试新的方法和技术
能够处理多项任务并适应变化的优先级