数据平台软件工程师
岗位摘要
设计和实现高吞吐量、低延迟的数据摄取和传输系统;扩展和优化支持实时工作负载的多租户Kafka基础设施;针对高要求的生产流水线,扩展和调优Spark、Flink和Trino;构建接口、API和流水线,使团队能够在PB级别查询、处理和移动数据
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和实现高吞吐量、低延迟的数据摄取和传输系统
- 扩展和优化支持实时工作负载的多租户Kafka基础设施
- 针对高要求的生产流水线,扩展和调优Spark、Flink和Trino
- 构建接口、API和流水线,使团队能够在PB级别查询、处理和移动数据
- 调试和优化分布式系统,重点关注负载下的可靠性和性能
- 与机器学习、产品和基础设施团队合作,解决关键数据工作流的阻塞问题
任职要求
- 在分布式系统、流处理或大规模数据平台方面拥有经过验证的专业知识
- 精通Rust、Go、Scala或类似的系统编程语言
- 在生产环境中拥有Kafka、Flink、Spark、Trino或Hadoop的实践经验
- 具备强大的调试、性能分析和性能优化技能
- 拥有交付和维护关键基础设施的良好记录
- 适应在快节奏、高风险、且保障措施最少的环境中工作
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。