多模态理解（数据/算法）研究员-可实习
岗位摘要
负责多模态基座模型的迭代，探索视觉编码器和VLM的结构、训练策略和评测方式，持续验证和迭代预训练与后训练算法；负责多模态理解数据体系构建，定义图文/视频数据集的采集方式、质量标准和筛选方法，建设大规模自动化清洗、质量筛选与数据合成管线
岗位职责
- 负责多模态基座模型的迭代，探索视觉编码器和VLM的结构、训练策略和评测方式，持续验证和迭代预训练与后训练算法
- 负责多模态理解数据体系构建，定义图文/视频数据集的采集方式、质量标准和筛选方法，建设大规模自动化清洗、质量筛选与数据合成管线
- 针对通用问答、文档/图表解析、多模态推理等基础场景，进行数据收集、模型训练和精细化调优
- 推动GUI、白领办公、多模态搜索等场景的多模态Agent核心能力建设与落地
- 搭建面向用户真实体验的多维度多模态评测体系，定位模型短板并指引迭代
任职要求
- 深入理解主流视觉编码器（如CLIP、SigLIP等）的模型结构，熟悉其训练与评测方法
- 熟悉主流多模态模型的架构，具备大规模多模态预训练或后训练实战经验
- 具备极强的数据直觉，有大规模图文/视频数据清洗、质量标注及数据合成的实战经验，具备一定的工程代码能力
- 主导和交付过多模态某个垂直领域（如OCR、Image Caption、空间理解、通用QA、用户意图理解或Agent场景）的模型训练与数据迭代
- 深入研究过多模态模型评测体系建设，有独立设计人工评测或自动评测流程的经历
- 基础扎实、代码能力极强、对多模态有极致渴望，即使无特定经验也可
加分项
- 有行业影响力的高引论文或知名项目贡献
- 对模型自身真实能力的提升有极致追求，反感且不愿意通过“刷榜”来换取指标的虚假繁荣
- 对多模态模型的技术发展趋势和应用场景有深刻洞察
福利待遇
- 薪资范围60-90K，14薪
- 可实习或全职
- 位于北京海淀区融科资讯中心C座
工作地址
北京海淀区融科资讯中心C座