返回岗位列表

软件工程师 - 数据获取

查看原岗位

地点：美国薪资：薪资未公开日期：2023-09-22

岗位摘要

负责并领导数据获取领域的工程项目，包括网络爬虫、数据摄取和搜索；与数据处理、架构和扩展等其他子团队合作，确保数据流的顺畅和系统的可操作性；与法律团队密切合作，处理任何合规或数据隐私相关事宜

岗位职责

负责并领导数据获取领域的工程项目，包括网络爬虫、数据摄取和搜索
与数据处理、架构和扩展等其他子团队合作，确保数据流的顺畅和系统的可操作性
与法律团队密切合作，处理任何合规或数据隐私相关事宜
开发和部署能够处理PB级数据的高度可扩展分布式系统
设计和实现用于数据索引和搜索功能的算法
构建和维护用于数据存储的后端服务，包括键值数据库和同步相关工作
在Kubernetes基础设施即代码环境中部署解决方案，并执行常规系统检查
对数据进行实验并分析，以提供系统性能的洞察

任职要求

拥有计算机科学或相关领域的学士/硕士/博士学位
拥有4年以上软件开发的行业经验
有大型网络爬虫经验者优先
在大型有状态分布式系统和数据处理方面拥有深厚的专业知识
精通Kubernetes和基础设施即代码概念
愿意并热衷于尝试新的方法和技术
能够处理多项任务并适应不断变化的优先级