数据基础设施技术人员
岗位摘要
构建并拥有大规模多模态数据集的创建、处理和管理的管道，包括向量数据库（LanceDB）管理和ML元数据查询优化；构建并拥有从Postgres和ClickHouse到分析仓库的ETL和CDC流
岗位职责
- 构建并拥有大规模多模态数据集的创建、处理和管理的管道，包括向量数据库（LanceDB）管理和ML元数据查询优化
- 构建并拥有从Postgres和ClickHouse到分析仓库的ETL和CDC流
- 使用dbt构建标准化的数据转换层，取代临时SQL查询，并为业务分析创建可维护的数据模型
- 管理生产数据库（Postgres、ClickHouse）并优化性能和可靠性
任职要求
- 4年以上数据工程行业经验
- 熟练掌握Python
- 具备大规模数据质量、去重和清理经验
- 熟悉云存储（S3）和大数据集管理
- 具备大规模ETL/CDC管道的构建和维护经验
- 强大的SQL技能，熟悉多种数据库系统（Postgres、列式数据库如ClickHouse/Redshift）
- 谦逊和开放的心态；在Runway，我们喜欢互相学习