数据工程师
岗位摘要
设计并实现可扩展、高效且高质量的数据摄入方法,处理来源多样、质量不一的数据;构建通用的库和框架,提升团队整体开发效率与复用性;持续优化和维护数据解决方案,提升系统效率、数据质量和运维水平
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计并实现可扩展、高效且高质量的数据摄入方法,处理来源多样、质量不一的数据
- 构建通用的库和框架,提升团队整体开发效率与复用性
- 持续优化和维护数据解决方案,提升系统效率、数据质量和运维水平
任职要求
- 14年以上相关工作经验,具备深厚的Snowflake技术能力
- 有处理50亿至100亿条记录、约200列宽的大型聚合数据集经验
- 熟练使用Python进行任务编排,熟悉S3/数据湖及Parquet、Iceberg等开放数据格式,具备DBT使用经验
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。