多模态数据算法工程师(流式视频)
岗位摘要
负责原始视频的元数据探测、转码、HDR到SDR转换、黑边检测、音视频分离与对齐;优化解码路径(FFmpeg/Decord/GPU解码器),保证大规模任务的吞吐与稳定性;设计并落地镜头与场景切分,包括镜头边界检测、视觉特征场景合并、按边界切片、跳切检测
岗位职责
- 负责原始视频的元数据探测、转码、HDR到SDR转换、黑边检测、音视频分离与对齐
- 优化解码路径(FFmpeg/Decord/GPU解码器),保证大规模任务的吞吐与稳定性
- 设计并落地镜头与场景切分,包括镜头边界检测、视觉特征场景合并、按边界切片、跳切检测
- 建立边界F1、mIoU、长度合规等评估指标,持续降低误切与漏切
- 接入视觉语言模型进行视频描述、语义打标、实体提取
- 接入开放词表检测、字幕擦除等视觉算子,保证标注模式、token用量、失败重试可统计可回放
任职要求
- 计算机视觉、机器学习等相关专业本科及以上学历,具有视频理解、视频处理或大规模数据生产经验
- 精通Python,熟悉PyTorch推理落地(加载、批处理、混合精度、内存不足降级)
- 熟悉视频容器与编解码:FFmpeg/ffprobe、H.264/H.265、PTS/DTS、转码与抽帧;有长视频切分或直播流经验更佳
- 做过至少一类视觉模型生产化:CLIP、DINOv2、检测、OCR、质量评估、VLM打标中的若干项
- 加分项:镜头边界或场景分割的论文或生产经验,有人工标注对齐、故障模式分析经验
- 加分项:VLM视频打标经验(提示设计、结构化输出、限流与token统计);字幕检测与擦除、人脸/实体检测、参考视频数据构建经验
- 算法竞赛获奖经历或显著开源贡献者优先
加分项
- 镜头边界 / 场景分割的论文或生产经验,有人工标注对齐、failure mode 分析;VLM 视频打标:prompt 设计、结构化输出、限流与 token 统计;字幕检测与擦除、人脸/实体检测、参考视频数据构建