流式视频数据平台工程师
岗位摘要
负责视频生成数据平台建设，设计数据处理算子及DAG编排执行能力；建设大规模数据Pipeline的分布式执行能力，包括任务调度、资源管理、失败恢复和断点续跑；面向视频、多模态及GPU计算场景，优化CPU、GPU、存储和网络之间的数据流转，提升处理吞吐和资源利用率
岗位职责
- 负责视频生成数据平台建设，设计数据处理算子及DAG编排执行能力
- 建设大规模数据Pipeline的分布式执行能力，包括任务调度、资源管理、失败恢复和断点续跑
- 面向视频、多模态及GPU计算场景，优化CPU、GPU、存储和网络之间的数据流转，提升处理吞吐和资源利用率
- 建设平台可观测和任务管理能力，支撑大规模数据任务稳定运行和快速问题定位
- 与算法团队深度协作，支持数据处理能力快速接入和迭代，提升训练数据生产效率
任职要求
- 熟悉Python/C++/Go中至少一种语言，具备扎实的分布式系统和工程基础
- 有Workflow、DAG Scheduler、分布式任务系统或大规模数据平台的设计与开发经验
- 理解任务调度、资源管理、容错恢复和数据流转等核心机制，有Ray、Spark、Flink等相关经验者优先
- 具备较强的系统设计、性能分析和问题定位能力
加分项
- 有 AI 数据平台、多模态或大规模视频数据处理经验
- 熟悉 Kubernetes、CPU/GPU 异构计算和大规模任务调度
- 熟悉 PyTorch、GPU 推理、CUDA/Triton 或数据处理算子性能优化
福利待遇
- 有AI数据平台、多模态或大规模视频数据处理经验者优先
- 熟悉Kubernetes、CPU/GPU异构计算和大规模任务调度者优先
- 熟悉PyTorch、GPU推理、CUDA/Triton或数据处理算子性能优化者优先