数据基础设施工程师
岗位摘要
设计和实施稳健的访问控制系统,确保只有授权用户才能访问敏感数据;构建用于权限管理、审计日志记录和合规性要求的基础设施;处理跨数千用户和系统的IAM策略、ACL和安全控制;构建和维护为关键业务报告提供支持的数据管道和数据仓库
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计和实施稳健的访问控制系统,确保只有授权用户才能访问敏感数据
- 构建用于权限管理、审计日志记录和合规性要求的基础设施
- 处理跨数千用户和系统的IAM策略、ACL和安全控制
- 构建和维护为关键业务报告提供支持的数据管道和数据仓库
- 确保复杂财务系统的数据完整性、准确性和可用性,包括第三方收入摄取管道
- 根据需要管理外部关系以推动上游依赖
- 负责处理收入、使用情况和业务指标系统的可靠性
- 为PB级数据架构灾难恢复、备份和复制系统
- 确保存储在云对象存储(GCS, S3)中的数据具有高可用性和持久性
- 构建防止数据丢失并支持快速恢复的系统
- 使用BigQuery、BigTable、Airflow、dbt和Spark等技术扩展数据处理基础设施
- 优化查询性能、管理成本,并在整个组织内实现自助式分析
任职要求
- 拥有8年以上软件工程经验,其中3年以上从事数据基础设施、存储系统或相关分布式系统的构建工作
- 在以下至少一个领域有深厚经验:云数据平台(BigQuery, Redshift, Snowflake)和编排工具(Airflow, dbt);访问控制系统、IAM、大规模身份验证/授权;分布式存储系统、对象存储(S3, GCS)、灾难恢复
- 熟练掌握Python、Go、Java或类似编程语言
- 具有基础设施即代码(Terraform, Pulumi)和云平台(GCP, AWS)的经验
- 能够在性能、成本、安全性和可维护性之间进行复杂的技术权衡
- 具备出色的协作能力,能够与技术和非技术利益相关者良好合作
- 能够适应模糊性,并能独立确定范围并推动大型项目
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。