数据工程师
岗位摘要
使用Azure Data Factory和Data Lake Storage开发和部署数据采集、转换与处理管道；利用Spark和Scala编写高效、可维护的数据处理代码；参与构建和维护Bronze、Silver、Gold三层的medallion数据架构
岗位职责
- 使用Azure Data Factory和Data Lake Storage开发和部署数据采集、转换与处理管道
- 利用Spark和Scala编写高效、可维护的数据处理代码
- 参与构建和维护Bronze、Silver、Gold三层的medallion数据架构
- 与架构师、分析师协作，理解需求并实现数据解决方案，确保数据完整性与质量
任职要求
- 精通Apache Spark和Scala编程语言
- 具备Microsoft Azure云平台使用经验，如Azure Data Factory、ADLS Gen2等
- 熟悉ETL/ELT流程及数据仓库概念，了解medallion架构原理
- 掌握SQL和数据库技术，熟悉Git版本控制及CI/CD实践
- 有媒体或广告行业数据处理经验者优先