高级后端工程师 - 自动化
岗位摘要
设计、开发和维护数据摄取管道的自动化数据验证和质量保证框架;构建并实施自动化完整性检查,确保摄取数据的准确性、完整性和一致性;识别现有数据工作流中的差距,设计可扩展的自动化解决方案以提升数据质量
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计、开发和维护数据摄取管道的自动化数据验证和质量保证框架
- 构建并实施自动化完整性检查,确保摄取数据的准确性、完整性和一致性
- 识别现有数据工作流中的差距,设计可扩展的自动化解决方案以提升数据质量
- 编写和优化复杂SQL查询,支持数据分析、验证逻辑、管道监控和数据完整性检查
- 使用PySpark或Snowpark等分布式数据框架处理大规模数据集
- 为客户提供自动化、数据工程和数据完整性最佳实践方面的战略建议
任职要求
- 拥有8年以上相关后端工程或数据工程工作经验
- 精通复杂SQL查询编写和优化,具备数据验证逻辑开发能力
- 熟练掌握PySpark或Snowpark等分布式数据处理框架
- 具备数据管道自动化、质量保证框架设计与实施经验
- 具有优秀的跨团队协作和客户沟通能力,能向技术与非技术人员清晰表达技术方案
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。