多模态大模型数据工程实习生
岗位摘要
基于Spark、Ray、Hive等分布式计算框架，开发和优化海量图文数据处理Pipeline；参与多模态训练数据的采集、解析、清洗、去重、过滤、标注等核心环节建设；持续优化数据链路性能、稳定性及资源利用效率
岗位职责
- 基于Spark、Ray、Hive等分布式计算框架，开发和优化海量图文数据处理Pipeline
- 参与多模态训练数据的采集、解析、清洗、去重、过滤、标注等核心环节建设
- 持续优化数据链路性能、稳定性及资源利用效率
- 参与训练数据存储、索引、检索等基础能力建设
- 参与数据集管理、数据版本管理及数据治理相关系统开发
- 推动训练数据生产流程标准化与自动化
- 构建数据质量、覆盖率、分布等评估体系
- 开发数据分析与可观测性工具，提升数据链路透明度
- 调研LLM/VLM领域前沿数据工程与数据构建方案，并在工作中落地
任职要求
- 本科及以上学历，计算机相关专业优先
- 熟练掌握Python语言和Linux开发环境，了解分布式存储与计算原理
- 有Spark/Ray/Hive等任意分布式计算引擎使用经验，具备数据pipeline搭建经验
- 具备较强的问题分析与解决能力，能快速学习并独立推进技术项目
- 良好的沟通能力和团队合作精神
- 快速学习新知识、新技能，有技术热情，自驱力强
- 每周到岗至少4天，连续实习至少3个月，实习6个月以上优先
福利待遇
- 实习薪资500-1000元/天
工作地址
北京海淀区大恒科技大厦12F