后端软件工程师
岗位摘要
负责并领导开发大规模网络爬虫、数据摄取管道和数据处理系统的项目;构建、维护和优化爬虫服务的核心后端和前端组件,包括存储、检索和数据管理的UI仪表板;与搜索和基础设施团队紧密合作,确保数十亿网页的高质量、可靠的数据摄取和处理
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 负责并领导开发大规模网络爬虫、数据摄取管道和数据处理系统的项目
- 构建、维护和优化爬虫服务的核心后端和前端组件,包括存储、检索和数据管理的UI仪表板
- 与搜索和基础设施团队紧密合作,确保数十亿网页的高质量、可靠的数据摄取和处理
- 设计和实现全栈功能及可扩展的分布式系统,以处理高负载和实时数据操作
- 快速迭代、尝试新方法,并持续提升系统性能、可用性和可靠性
任职要求
- 至少5年软件开发经验,精通至少一种编程语言(Python、C++、Rust或Go)的数据结构和算法
- 有大规模网络爬虫经验者优先
- 有构建、部署和优化高负载、分布式及硬件相关服务的实际经验
- 深入了解云基础设施,有Kubernetes(K8s)和AWS的实际操作经验
- 热衷于编写简洁、高效且可扩展的系统
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。