AI数据研发工程师（大模型数据方向）
岗位摘要
建设面向大模型的数据基础设施，统一管理文本、图像、视频、语音等多模态数据，支撑PB级数据的存储、计算、索引与分发；构建数据湖/湖仓体系，支持数据版本管理、元数据管理和生命周期管理，优化数据访问链路，保障训练任务的数据吞吐和稳定性
岗位职责
- 建设面向大模型的数据基础设施，统一管理文本、图像、视频、语音等多模态数据，支撑PB级数据的存储、计算、索引与分发
- 构建数据湖/湖仓体系，支持数据版本管理、元数据管理和生命周期管理，优化数据访问链路，保障训练任务的数据吞吐和稳定性
- 构建大模型训练与后训练数据Pipeline，包括预训练数据解析、清洗、过滤、去重、质量评估和分类采样，以及SFT、Preference Data、RLHF/RLAIF数据构造和自动化评估
- 处理多模态数据，进行图像/视频/语音数据处理、Caption生成、Embedding提取和特征构建，实现数据合成、增强和闭环优化
- 基于Ray、Spark、Datatrove等分布式计算框架构建大规模数据处理能力，建设数据Pipeline编排和执行体系，支持CPU/GPU混合计算场景
- 探索智能调度、自动优化、异常检测和自动修复等AI Native能力，建设标准化数据处理SDK、API和开发框架
- 建设任务调度、监控、日志、指标和可观测体系，以及数据资产管理、质量管理和数据治理能力，降低模型研发数据使用成本
任职要求
- 扎实的计算机基础，理解分布式系统原理，熟练掌握Python、Java、Go等至少一种编程语言，熟悉Linux、Kubernetes等云原生基础设施
- 具备大规模数据系统设计和工程实践经验，在分布式计算、数据湖与存储、数据平台等至少一个方向有深入经验
- 熟悉Spark、Ray、Flink等分布式计算框架，有大规模数据Pipeline构建和性能优化经验，理解任务调度、资源管理、计算优化机制
- 熟悉Iceberg、Paimon、Lance等湖仓技术，理解Metadata、Partition、Manifest、Index、Compaction等核心机制，有PB级数据管理经验
- 熟悉Airflow、DolphinScheduler等工作流系统，有数据开发平台、元数据管理、数据质量、数据治理平台建设经验，熟悉Kubernetes资源调度体系
- 优先考虑参与过大模型预训练数据建设，熟悉网页、代码、多模态数据处理流程，理解数据清洗、过滤、Deduplication、Quality Filtering，熟悉Embedding、向量检索、数据聚类等技术，了解SFT、RLHF、Preference Data等后训练数据流程，有Vision-Language Model、Video Model、Speech Model数据处理经验
加分项
- 参与过 GPT 类模型、MoE 模型、多模态模型的数据平台建设
- 有 TB/PB 级训练数据处理经验
- 建设过大规模数据清洗、去重、质量评估 Pipeline
- 熟悉 WebDataset、Parquet、MDS、Arrow、Lance 等训练数据格式
- 有数据平台 SDK/API 产品化经验