数据工程总监
岗位摘要
分析复杂模糊的业务需求，与产品、分析和工程团队合作设计可扩展的数据解决方案；使用Snowflake和Databricks（基于Delta Lake和PySpark）设计、开发和优化复杂的SQL转换与数据管道
岗位职责
- 分析复杂模糊的业务需求，与产品、分析和工程团队合作设计可扩展的数据解决方案
- 使用Snowflake和Databricks（基于Delta Lake和PySpark）设计、开发和优化复杂的SQL转换与数据管道
- 与前端工程师协作设计或修改数据库模式，以优化软件性能
- 进行高级数据库管理与开发，包括存储过程、用户定义函数、触发器和ELT/ETL包，使用PySpark、SQL和Python处理大规模数据，并管理安全与角色
- 开发高级Snowflake数据库对象，包括存储过程、用户定义函数、视图、任务、流和动态表
- 设计可扩展的数据模型（事实/维度、星型模式、规范化），以支持报告、分析和下游应用
- 执行质量标准和创建监控工具，确保数据高保真度；优化和调整现有存储过程以提升性能
- 排查数据库问题，识别根本原因并实施最佳解决方案；使用Python和AWS Glue等工具从多个数据源提取、转换和加载数据
- 设计、构建、测试、调试、监控和排查Python中的ETL和软件过程；为现有或预期问题推荐解决方案
- 与业务利益相关者和技术人员跨职能合作，交流想法，审查和改进现有解决方案，并集成新方案
任职要求
- 具备分析复杂和模糊业务需求的能力，并能与产品、分析和工程团队合作设计可扩展的数据解决方案
- 精通Snowflake和Databricks，熟悉Delta Lake和PySpark，能够设计、开发和优化复杂的SQL转换和数据管道
- 具备高级数据库管理和开发经验，包括存储过程、用户定义函数、触发器和ELT/ETL包，熟练使用PySpark、SQL和Python处理大规模数据
- 能够设计可扩展的数据模型（事实/维度、星型模式、规范化），以支持报告、分析和下游应用
- 具备使用Python和AWS Glue等工具进行数据提取、转换和加载的经验，能够设计、构建、测试、调试、监控和排查ETL过程
- 具备跨职能合作能力，能够与业务利益相关者和技术人员有效沟通，审查和改进现有解决方案