数据工程师
岗位摘要
使用Azure Data Factory和Data Lake Storage开发和部署数据采集、转换与处理管道；利用Spark和Scala编写高效、可维护的数据处理代码；参与构建和维护Bronze、Silver、Gold三层的medallion数据架构
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口，并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 使用Azure Data Factory和Data Lake Storage开发和部署数据采集、转换与处理管道
- 利用Spark和Scala编写高效、可维护的数据处理代码
- 参与构建和维护Bronze、Silver、Gold三层的medallion数据架构
- 与架构师、分析师协作，理解需求并实现数据解决方案，确保数据完整性与质量
任职要求
- 精通Apache Spark和Scala编程语言
- 具备Microsoft Azure云平台使用经验，如Azure Data Factory、ADLS Gen2等
- 熟悉ETL/ELT流程及数据仓库概念，了解medallion架构原理
- 掌握SQL和数据库技术，熟悉Git版本控制及CI/CD实践
- 有媒体或广告行业数据处理经验者优先
登录后查看完整岗位详情
使用邮箱验证码登录后，可查看完整职责、任职要求、原岗位入口，并继续使用收藏和浏览记录。列表摘要保持公开，完整详情用于保护数据质量和降低恶意抓取。