首席数据工程师（AWS）
岗位摘要
设计并实现符合企业标准的AWS数据工程解决方案，构建优化批处理与流式数据管道；开发基于SQL的转换和Python数据管道，设计高效数据模型以提升性能、可扩展性和成本效益；负责数据工程交付物的全周期质量，包括性能调优、成本优化、容量规划及生产问题根因分析
岗位职责
- 设计并实现符合企业标准的AWS数据工程解决方案，构建优化批处理与流式数据管道
- 开发基于SQL的转换和Python数据管道，设计高效数据模型以提升性能、可扩展性和成本效益
- 负责数据工程交付物的全周期质量，包括性能调优、成本优化、容量规划及生产问题根因分析
- 与架构师、产品负责人及客户协作，将业务需求转化为稳健的AWS数据工程方案
任职要求
- 6-10年数据工程经验，精通Amazon S3、Glue、Athena、Redshift等AWS数据服务
- 具备云原生数据湖和数据仓库架构设计经验，熟悉批处理与流式数据管道
- 精通SQL（复杂查询、性能调优）和Python编程，有PySpark/Spark处理经验
- 具备构建可复用ETL组件和大规模数据集处理能力，了解安全与合规最佳实践