数据工程师（GCP）

岗位职责

• 该职位旨在为系统和平台创建解决方案架构，在满足业务需求的同时，确保在时间、成本和符合公司标准、政策与实践方面充分探索所有相关选项
• 该职位将监督其他架构师的工作以及面向内外部客户的解决方案交付，并引导其通过相关治理流程
• 我们正在寻找一位技术过硬的 GCP 数据工程师，具备扎实的编程基础和云原生架构经验
• 候选人应在 Google Cloud Platform 上构建可扩展数据管道、集成外部 API 以及将软件工程原则应用于数据工作流方面拥有实操经验
• 业务头衔：数据工程师 - GCP
• 经验年限：10 年以上
• 使用 GCP 进行云解决方案的架构、设计和构建
• 设计并实现用于数据摄取和转换的模块化、面向对象 Python 应用
• 较强的面向对象编程 (OOP) 能力
• 精通运用封装、继承、多态和抽象等核心 OOP 原则，设计和实现可扩展、可维护的数据管道
• 有构建模块化系统的经验，具备清晰的类层次结构，运用 SOLID 原则确保架构清晰和关注点分离
• 善于运用设计模式解决复杂问题，提升代码可读性和可测试性
• 使用 GCP 服务构建并维护 ETL/ELT 管道：BigQuery、Cloud Functions、Cloud Run、Cloud Composer 和 DataForm
• 与外部 API 集成，将数据抽取并加载到 BigQuery
• 使用 Pub/Sub 和 Eventarc 开发事件驱动架构，触发工作流并管理实时数据流
• 使用 Cloud Build 和 CI/CD 流水线自动化部署和测试工作流
• 优化跨 GCP 服务的数据处理和存储的性能与成本
• 与跨职能团队协作，将业务需求转化为可扩展的数据解决方案
• 确保所有管道和存储层的数据安全、治理和合规
• 10 年数据工程经验，其中至少 4 年以上在 Google Cloud Platform 上
• 精通 Python，包括 OOP 原则、模块化设计和整洁编码规范
• 熟练使用 GCP 服务：BigQuery、Cloud Functions、Cloud Run、Cloud Build、Dataform、Pub/Sub、Eventarc、Cloud Storage 和 Cloud Composer
• 扎实理解 SQL、数据建模和数据仓库概念
• 熟悉 CI/CD 流水线、基于 Git 的工作流等
• 较强的问题解决能力，能够在快节奏环境中独立工作
• UNIX shell 脚本、SnowFlake、Redshift，熟悉 MongoDB 等 NoSQL
• 有云平台经验——AWS / Azure
• 面向客户的能力与技术功底