数据工程师
岗位摘要
构建并维护数据管道，将来自第三方 API 和内部来源的数据接入云端数据湖和湖仓（lakehouse）环境；开发数据转换逻辑（Spark/PySpark、SQL），将原始数据标准化、建模并富集为可用于分析的数据集
岗位职责
- 构建并维护数据管道，将来自第三方 API 和内部来源的数据接入云端数据湖和湖仓（lakehouse）环境
- 开发数据转换逻辑（Spark/PySpark、SQL），将原始数据标准化、建模并富集为可用于分析的数据集
- 构建并维护编排工作流，以调度、监控和排查数据管道的执行
- 支持数据治理和访问控制模型（如 Unity Catalog、基于 ABAC 的策略），确保数据安全，并按租户、客户或市场进行适当范围限定
- 与产品经理和高级工程师合作实现平台功能，如连接器框架、分类/规则引擎和数据导出能力
- 支持与可视化和报告工具（如 Power BI、Tableau）的集成，帮助确保下游数据消费者获得可靠、文档完善的访问
- 为架构文档（如 C4 模型图）做贡献，并参与设计评审
- 排查数据质量、管道故障和性能问题，从源头到目的地追踪错误
- 与 DevOps/安全团队合作进行服务账户管理、凭证处理和基础设施迁移（如容器化）
- 按需参加生产数据管道的值班/支持轮换
任职要求
- 3 年以上作为数据工程师构建生产级数据管道的经验
- 扎实掌握 Apache Spark（PySpark）和 SQL，可进行大规模数据转换
- 有云平台（优先 Azure）和云原生数据存储（如 Data Lake / Blob Storage）经验
- 有 Databricks 使用经验，包括熟悉 Unity Catalog 或类似的数据治理/目录工具
- 熟悉数据治理和访问控制模型（RBAC/ABAC），并有处理敏感、多租户数据的经验
- 有将数据管道与 BI/可视化工具（Power BI、Tableau 或类似）集成的经验
- 能够熟练使用基于 API 的数据接入工具/连接器（如 Adverity 或类似接入平台）者优先
- 扎实理解软件工程实践：版本控制、CI/CD、测试、代码评审
- 良好的沟通能力，能够与产品、工程和面向客户的利益相关者跨职能协作
加分项
- 有 Apache Airflow 等工作流编排工具经验
- 有身份/访问管理集成（Okta、Entra ID）经验
- 有服务网格技术（Istio）和容器化部署（AKS/Kubernetes）经验
- 接触过可持续发展、ESG 或碳核算数据模型
- 有 C4 模型架构文档（PlantUML 或类似）经验
- 工作地点：DGS India - 班加罗尔 - Manyata N1 Block
- 品牌：Merkle
- 工作性质：全职
- 合同类型：永久