高级后端工程师 - 自动化
岗位摘要
设计、开发和维护数据摄取管道的自动化数据验证和质量保证框架；构建并实施自动化完整性检查，确保摄取数据的准确性、完整性和一致性；识别现有数据工作流中的差距，设计可扩展的自动化解决方案以提升数据质量
岗位职责
- 设计、开发和维护数据摄取管道的自动化数据验证和质量保证框架
- 构建并实施自动化完整性检查，确保摄取数据的准确性、完整性和一致性
- 识别现有数据工作流中的差距，设计可扩展的自动化解决方案以提升数据质量
- 编写和优化复杂SQL查询，支持数据分析、验证逻辑、管道监控和数据完整性检查
- 使用PySpark或Snowpark等分布式数据框架处理大规模数据集
- 为客户提供自动化、数据工程和数据完整性最佳实践方面的战略建议
任职要求
- 拥有8年以上相关后端工程或数据工程工作经验
- 精通复杂SQL查询编写和优化，具备数据验证逻辑开发能力
- 熟练掌握PySpark或Snowpark等分布式数据处理框架
- 具备数据管道自动化、质量保证框架设计与实施经验
- 具有优秀的跨团队协作和客户沟通能力，能向技术与非技术人员清晰表达技术方案