AWS数据工程技术负责人
岗位摘要
设计并实现符合企业标准的AWS数据工程解决方案，构建和优化批处理与流式数据管道；开发基于SQL的数据转换和基于Python的数据管道，设计高效的数据模型以兼顾性能、可扩展性和成本效益
岗位职责
- 设计并实现符合企业标准的AWS数据工程解决方案，构建和优化批处理与流式数据管道
- 开发基于SQL的数据转换和基于Python的数据管道，设计高效的数据模型以兼顾性能、可扩展性和成本效益
- 负责数据工程交付物的全生命周期，包括性能调优、成本优化、容量规划及复杂生产问题的根因分析
- 与架构师、产品负责人及客户利益相关方协作，将业务和分析需求转化为稳健的AWS数据工程方案
- 遵循并贡献编码标准、文档和数据工程最佳实践，参与代码审查和持续改进，确保符合AWS安全和合规要求
任职要求
- 6至10年经验，具备AWS数据服务的强动手能力，包括S3、Glue、Athena、Redshift，并有云原生数据湖和数据仓库架构设计经验
- 精通SQL，能编写复杂查询进行转换、聚合、性能调优和分析，并具备处理Redshift/Athena大规模数据集的经验
- 具备强Python编程能力，熟悉PySpark/Spark分布式处理框架，能构建可复用的ETL组件和数据管道
- 深入理解批处理和流式数据管道，具备构建可扩展、容错的数据摄取和转换工作流的经验
- 具备数据建模、数据转换和性能优化的强理解能力，能提供清晰的技术输入、估算和实现权衡