首席数据工程师（AWS）
岗位摘要
设计并实现符合企业标准的AWS数据工程解决方案，构建和优化批处理及流式数据管道；开发基于SQL的数据转换和基于Python的数据管道，设计高效的数据模型以提升性能、可扩展性和成本效益
岗位职责
- 设计并实现符合企业标准的AWS数据工程解决方案，构建和优化批处理及流式数据管道
- 开发基于SQL的数据转换和基于Python的数据管道，设计高效的数据模型以提升性能、可扩展性和成本效益
- 负责数据工程交付物从开发到生产支持的全流程，进行性能调优、成本优化和容量规划
- 排查复杂的数据管道和生产问题，进行根因分析，确保解决方案满足安全、可靠和可扩展性要求
- 与架构师、产品负责人和客户利益相关者紧密合作，将业务和分析需求转化为稳健的AWS数据工程解决方案
任职要求
- 6-10年总工作经验，具备扎实的AWS数据服务实操经验，包括S3、Glue、Athena、Redshift
- 精通SQL，能够编写复杂查询进行数据转换、聚合、性能调优和分析，并处理Redshift/Athena中的大规模数据集
- 具备较强的Python编程能力，用于数据工程场景，包括构建可复用的ETL组件、工具和数据管道
- 具有设计AWS云原生数据湖和数据仓库架构的经验，深入理解批处理和流式数据管道
- 具备构建可扩展、容错的数据摄入和转换工作流的经验，熟悉PySpark/Spark数据处理者优先