训练数据闭环工程师
岗位摘要
构建面向大模型与多模态模型的下一代AI数据基础设施，负责DataFlow方向，打造从多源原始数据到高质量训练、评测、推理数据集的端到端数据流水线，支撑预训练、SFT、RLHF、评测等核心业务场景
岗位职责
- 构建面向大模型与多模态模型的下一代AI数据基础设施，负责DataFlow方向，打造从多源原始数据到高质量训练、评测、推理数据集的端到端数据流水线，支撑预训练、SFT、RLHF、评测等核心业务场景
- 打造高吞吐、低成本、可扩展的分布式数据流水线系统框架，支持文本、代码、图像、音频、视频及多模态数据
- 建设数据质量与治理体系：质量指标、规则引擎、抽样评估、异常检测、去重策略、PII与安全合规
- 与算法、训练、标注、平台团队紧密协作，将模型数据需求转化为工程方案，持续提升数据迭代效率
- 跟踪LLM Data Engineering、数据合成与多模态处理前沿实践，推动工具链平台化
任职要求
- 本科及以上学历，计算机、软件工程、数学、统计等相关专业
- 精通Python，熟悉C++，具备大规模数据处理经验
- 熟练掌握至少一种分布式数据处理框架：Ray、Spark、Flink、Daft等，具备构建高效数据流水线的经验，能定位并解决数据瓶颈
- 熟悉Airflow/Dagster/Prefect/Argo Workflows等常见工作流编排框架；了解PyTorch DataLoader、Arrow、Parquet等数据格式与加载工具
- 具备良好的沟通协作能力与Owner意识，能在快速迭代环境中推进复杂项目
加分项
- 有 LLM 数据工程经验：预训练语料、SFT、RLHF、合成数据、数据配比、评测集构建
- 熟悉多模态数据处理：文档解析、图像/视频/音频处理、OCR、ASR、Embedding
- 有向量数据库、数据流水线搭建、特征平台或 MLOps/DataOps 经验
- 有开源贡献、技术博客、专利或大规模平台落地案例