高级数据工程师(多模态/大模型方向)
岗位摘要
设计并实现面向大模型训练与推理的多模态数据处理与构建管线;管线需覆盖图像、视频、音频、文本、3D及多模态理解等数据类型;管线需支撑预训练、后训练(SFT / RLHF / Preference)及评测数据构建
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 设计并实现面向大模型训练与推理的多模态数据处理与构建管线
- 管线需覆盖图像、视频、音频、文本、3D及多模态理解等数据类型
- 管线需支撑预训练、后训练(SFT / RLHF / Preference)及评测数据构建
- 构建高可靠、可扩展的数据处理系统,支持TB / PB级数据规模
- 负责批处理与流式处理任务的工程实现
- 参与或主导分布式并行计算(CPU / GPU混合)的工程落地
- 建立数据校验与质量评估机制
- 质量评估需覆盖数据完整性、一致性、分布异常与质量回归等场景
- 设计并推动数据处理链路的监控与异常治理
- 推动多模态数据结构的标准化设计
- 建设数据元信息、版本管理与可追溯机制
- 提升数据的可复用性与长期资产价值
- 与算法、模型、平台等团队深度协作
- 将模型需求与业务目标转化为可落地的数据工程方案
- 参与复杂数据问题的拆解、方案设计与推进落地
任职要求
- 具备多模态数据处理管线设计与实现能力
- 熟悉图像、视频、音频、文本、3D及多模态理解等数据类型
- 了解大模型预训练、后训练(SFT/RLHF/Preference)及评测数据构建流程
- 具备构建高可靠、可扩展的大规模数据处理系统经验
- 有处理TB/PB级数据规模的经验
- 熟悉批处理与流式处理任务的工程实现
- 具备分布式并行计算(CPU/GPU混合)的工程落地经验
- 熟悉数据校验与质量评估机制
- 能处理数据完整性、一致性、分布异常与质量回归等场景
- 具备数据处理链路监控与异常治理能力
- 了解数据标准化设计,包括数据结构、元信息、版本管理等
- 具备跨团队协作能力,能与算法、模型、平台等团队有效沟通
- 能将业务需求转化为可落地的数据工程方案
- 具备复杂数据问题拆解、方案设计与推进落地的能力
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。