VLM视频理解算法工程师(流式视频生成)
岗位摘要
负责PE Model、Caption Model、Reward Model三类VLM的训练与优化,基于千卡级算力进行大规模训练,探索SFT、RL、Agentic RL等方法,提升模型在视频理解、视频描述和视频质量评价等任务上的能力
岗位职责
- 负责PE Model、Caption Model、Reward Model三类VLM的训练与优化,基于千卡级算力进行大规模训练,探索SFT、RL、Agentic RL等方法,提升模型在视频理解、视频描述和视频质量评价等任务上的能力
- 负责VLM Agent的设计与训练,探索VLM在复杂视频理解任务中的Agent化能力,包括任务规划、工具调用、多轮推理、长视频分析等,结合Agentic RL提升自主推理与问题解决能力
- 负责三类VLM的训练数据构建与优化,通过规则匹配、自动化方法及外包标注进行数据筛选、标注和质检,探索适用于Agentic RL的训练数据与反馈信号构建方法
- 负责三类VLM的Benchmark构建与迭代,设计评测任务、数据和指标,建立模型评测体系,通过Benchmark定位能力短板并指导迭代
- 负责PE Model、Caption Model、Reward Model的System Prompt、推理策略及使用方案优化,调整Prompt与推理策略,探索Agent的任务规划、工具调用和多步推理策略
- 建立数据→训练→Agent→评测→优化的闭环,探索视频理解VLM的Scaling、RL和Agentic RL等方向,推动模型能力达到业界领先水平
任职要求
- 计算机、人工智能、软件工程、电子信息等相关专业
- 具备VLM/LLM大规模训练经验,熟悉SFT、RL等方法,理解数据、训练策略与模型能力的关系;有视频理解或多模态大模型训练经验者优先
- 了解或具备VLM Agent、Agentic RL、RLHF、RLAIF、Reward Model等相关经验,理解Agent训练、奖励设计、轨迹采样和策略优化;有实际Agent训练或复杂推理任务优化经验者优先
- 熟悉VLM的训练与推理流程,具备较强的模型效果分析和问题定位能力;有PE Model、Caption Model、Reward Model经验者优先
- 具备VLM数据构建、标注、质检或Benchmark构建经验,能够从模型效果出发反向分析数据问题并设计优化方案
- 有顶会论文;熟悉主流VLM、强化学习、Agent、视频理解及生成模型,对VLM Scaling、RL、Agentic RL有深入理解,具备较强的独立研究和问题分析能力
加分项
- 有顶会论文;熟悉主流 VLM、强化学习、Agent、视频理解模型及视频生成模型,对 VLM Scaling、RL、Agentic RL 等方向有深入理解,并具备较强的独立研究和问题分析能力