AWS数据工程技术负责人
岗位摘要
设计并实现符合企业标准的AWS数据工程解决方案，构建和优化批处理与流式数据管道；开发基于SQL的数据转换和Python数据管道，设计高效数据模型以兼顾性能、可扩展性和成本效益；负责数据工程交付物从开发到生产支持的全流程，进行性能调优、成本优化和容量规划
岗位职责
- 设计并实现符合企业标准的AWS数据工程解决方案，构建和优化批处理与流式数据管道
- 开发基于SQL的数据转换和Python数据管道，设计高效数据模型以兼顾性能、可扩展性和成本效益
- 负责数据工程交付物从开发到生产支持的全流程，进行性能调优、成本优化和容量规划
- 排查复杂数据管道和生产问题，进行根因分析，确保方案满足安全、可靠和可扩展要求
- 与架构师、产品负责人和客户利益相关者协作，将业务需求转化为稳健的AWS数据工程方案
任职要求
- 6-10年工作经验，精通AWS数据服务，包括S3、Glue、Athena、Redshift，具备云原生数据湖和数据仓库设计经验
- 精通SQL，能编写复杂查询进行转换、聚合和性能调优，具备Redshift/Athena大规模数据集处理经验
- 具备扎实的Python编程能力，熟悉PySpark/Spark处理，能构建可复用的ETL组件和数据管道
- 深入理解批处理和流式数据管道，具备构建可扩展、容错的数据摄取与转换工作流的经验
- 具备良好的协作与客户沟通能力，能提供清晰的技术输入、估算和实现权衡方案