首席数据工程师（AWS）
岗位摘要
设计并实现符合企业标准的AWS数据工程解决方案，构建优化批处理和流式数据管道；开发基于SQL的数据转换和Python数据管道，设计高效数据模型以保障性能、可扩展性和成本效益；负责数据工程交付物的全周期质量，包括性能调优、成本优化、容量规划及复杂生产问题根因分析
岗位职责
- 设计并实现符合企业标准的AWS数据工程解决方案，构建优化批处理和流式数据管道
- 开发基于SQL的数据转换和Python数据管道，设计高效数据模型以保障性能、可扩展性和成本效益
- 负责数据工程交付物的全周期质量，包括性能调优、成本优化、容量规划及复杂生产问题根因分析
- 与架构师、产品负责人及客户利益相关者协作，将业务分析需求转化为稳健的AWS数据工程方案
- 遵循并贡献编码标准、文档和数据工程最佳实践，参与代码审查和持续改进
任职要求
- 6-10年工作经验，精通AWS数据服务（S3、Glue、Athena、Redshift），具备云原生数据湖和数据仓库架构设计经验
- 深入理解批处理和流式数据管道，有构建可扩展、容错的数据摄取与转换工作流的经验
- 精通SQL，能编写复杂查询进行转换、聚合、性能调优和分析，具备Redshift/Athena大规模数据集处理经验
- 精通Python编程，用于数据工程场景，具备PySpark/Spark处理及构建可复用ETL组件和工具的经验
- 具备出色的技术问题解决能力，能进行根因分析，确保解决方案满足安全、可靠和可扩展性要求