大模型数据工程师 / 数据管道
岗位摘要
负责大规模数据接入、解析、清洗、去重、采样及任务编排；建设标准化、配置化数据管道，将高频处理能力沉淀为可复用算子和自助生产能力；建设数据版本、血缘、任务状态、异常恢复及质量追踪能力；联动数据、质检、标注和实验平台，推动自动质检、验收及数据效果反馈链路建设
岗位职责
- 负责大规模数据接入、解析、清洗、去重、采样及任务编排
- 建设标准化、配置化数据管道，将高频处理能力沉淀为可复用算子和自助生产能力
- 建设数据版本、血缘、任务状态、异常恢复及质量追踪能力
- 联动数据、质检、标注和实验平台，推动自动质检、验收及数据效果反馈链路建设
任职要求
- Python工程能力扎实，熟悉大规模数据处理
- 熟悉Spark/Ray等至少一种分布式计算框架
- 熟悉对象存储、Parquet/JSONL/LanceDB等数据格式及大规模IO
- 有大模型数据、数据平台、Workflow、数据质量相关经验优先