预训练数据Pipeline工程师
岗位摘要
设计并实现预训练数据Pipeline，覆盖数据解析、清洗、过滤、去重、质量评估、分类采样等核心环节；基于Spark构建大规模分布式数据处理任务，优化任务调度、资源使用、吞吐和稳定性；参与文本、音频、视频及多模态预训练数据处理，开发数据处理、合成、筛选和优化算子
岗位职责
- 设计并实现预训练数据Pipeline，覆盖数据解析、清洗、过滤、去重、质量评估、分类采样等核心环节
- 基于Spark构建大规模分布式数据处理任务，优化任务调度、资源使用、吞吐和稳定性
- 参与文本、音频、视频及多模态预训练数据处理，开发数据处理、合成、筛选和优化算子
- 建设数据质量评估与数据资产管理能力，让数据来源、处理过程、质量指标和样本分布可追踪
- 跟踪预训练数据领域前沿方法，探索数据增强、高质量数据筛选、数据去重和分布优化等方案，并落地到生产链路
任职要求
- 本科及以上学历，计算机、数学、人工智能等相关专业，具备扎实的计算机基础和分布式系统理解
- 熟练掌握Python、Java、Go、C++中至少一门语言，具备良好的工程实现能力
- 熟悉Spark技术栈，有大规模数据Pipeline构建、性能优化或稳定性治理经验
- 对大模型预训练数据、文本/音视频/多模态数据处理有兴趣，愿意深入业务问题
- 有Ray、Flink、Kafka、Iceberg、Hudi、Parquet、Arrow等数据系统实践经验
- 有预训练数据清洗、去重、质量评估、数据采样或数据增强经验
- 有大模型预训练数据工程或有行业影响力项目经验
- 熟悉AI Coding、CLI、Skills、Agent工作流，并能用自动化提升研发效率
加分项
- 有 Ray、Flink、Kafka、Iceberg、Hudi、Parquet、Arrow 等数据系统实践经验
- 有预训练数据清洗、去重、质量评估、数据采样或数据增强经验
- 有大模型预训练数据工程或有行业影响力项目经验
- 熟悉 AI Coding、CLI、Skills、Agent 工作流，并能用自动化提升研发效率
- 李明基 刚刚活跃
福利待遇
- 薪资待遇为30-60K·16薪
- 直接参与大模型预训练核心数据生产链路，数据质量、吞吐和覆盖度会影响模型能力上限
- 面向预训练数据构建的大规模分布式数据基础设施，而非传统离线数仓
- 在真实海量数据场景中使用Spark等分布式计算技术，解决解析、清洗、过滤、去重、质量评估和采样等工程问题
工作地址
上海徐汇区新研大厦11层