视频数据工程师
岗位摘要
负责训练数据预处理与自动化数据处理框架的搭建；负责数据处理框架的性能优化工作；建立数据集管理规范并实施版本化治理；构建自动化数据洞察流程与可视化看板；海内外名校全日制本科及以上学历，计算机、数学、电子信息等相关专业
岗位职责
- 负责训练数据预处理与自动化数据处理框架的搭建
- 负责数据处理框架的性能优化工作
- 建立数据集管理规范并实施版本化治理
- 构建自动化数据洞察流程与可视化看板
任职要求
- 海内外名校全日制本科及以上学历，计算机、数学、电子信息等相关专业
- 深度掌握Ray框架，熟悉Ray Core运行机制及Ray Data的streaming execution、operator fusion、backpressure等机制
- 具备data-juicer二次开发能力，熟悉算子抽象与Ray后端调度链路，有修改算子或框架的实际案例
- 熟悉多模态及视频数据处理，掌握ffmpeg、PyAV、decord、torchcodec等工具，具备关键帧提取与镜头切分经验
- 具备数据治理能力，熟悉PB级数据组织与治理，熟悉Lance、Parquet、WebDataset等格式，使用过数据版本化工具
加分项
- 有PB级数据管线的生产运维经验
- 有Ray或类似分布式框架的开源贡献
- 搭过数据看板(Superset/Metabase/Grafana/自研)
- 做过Schema演进或数据血缘追踪
福利待遇
- 有PB级数据管线的生产运维经验者优先
- 有Ray或类似分布式框架的开源贡献者优先
- 搭建过数据看板（Superset、Metabase、Grafana或自研）者优先
- 做过Schema演进或数据血缘追踪者优先