大模型数据开发实习生
岗位摘要
参与文本、图像、视频、语音等数据的解析、清洗、过滤、去重与质量评估，支持预训练及SFT、Preference Data等后训练数据生产；基于Ray、Spark等框架开发数据处理任务，参与CPU/GPU混合计算场景下的性能优化，提升数据处理效率和稳定性
岗位职责
- 参与文本、图像、视频、语音等数据的解析、清洗、过滤、去重与质量评估，支持预训练及SFT、Preference Data等后训练数据生产
- 基于Ray、Spark等框架开发数据处理任务，参与CPU/GPU混合计算场景下的性能优化，提升数据处理效率和稳定性
- 参与数据湖、数据索引、元数据及版本管理相关开发，优化训练数据的读取、检索和分发链路
- 参与数据处理SDK、API、任务编排、监控及质量检查工具开发，提升算法团队的数据研发效率
任职要求
- 计算机、软件工程或相关专业在校生，具备扎实的数据结构、算法和计算机基础
- 熟练掌握Python、Java、Go、C++中至少一种编程语言，能够独立完成模块开发与调试
- 熟悉Linux开发环境，了解数据库、并行计算或分布式系统的基本概念
- 对大模型数据、数据工程或基础设施研发有兴趣，具备良好的学习能力、问题分析能力和协作意识
- 有数据处理、后端开发、分布式计算或机器学习相关课程项目、科研或实习经历
加分项
- 使用过 Spark、Ray、Flink 等计算框架，或 Airflow 等工作流工具
- 接触过数据湖、对象存储，或 Parquet、Arrow、WebDataset、Lance 等数据格式与工具
- 有文本、网页、代码、图像、视频或语音数据处理经验，了解数据清洗、去重、质量评估等流程
- 有大模型训练数据、数据合成、Embedding、向量检索或聚类相关项目经验
- 熟悉 Docker、Kubernetes，或有开源项目贡献经历
福利待遇
- 实习薪资450-550元/天
- 接受无数据开发经验，提供学习与成长机会
工作地址
北京海淀区蓟门壹号8楼