大模型数据架构工程师
岗位摘要
围绕Step大模型数据全生命周期，建设海量数据的管理、生产、消费、质量的统一平台，提升大模型数据全生命周期的使用效率与质量，赋能算法预训练、SFT/RLHF等场景；建设数据管线的全链路可追溯和自动化能力：作业级容错与自愈、自动化质量监测、数据版本化与血缘建立、数据实验归因体系
岗位职责
- 围绕Step大模型数据全生命周期，建设海量数据的管理、生产、消费、质量的统一平台，提升大模型数据全生命周期的使用效率与质量，赋能算法预训练、SFT/RLHF等场景
- 建设数据管线的全链路可追溯和自动化能力：作业级容错与自愈、自动化质量监测、数据版本化与血缘建立、数据实验归因体系
- 主导技术选型与架构优化，基于Spark/Flink/Ray、湖仓一体、向量数据库、调度引擎等技术栈，构建高吞吐、高容错、可扩展的处理存储能力，支撑日PB级数据处理
- 协同基础架构/云平台团队，搭建稳定高效的底层数据基础设施（数据湖、对象存储、分布式计算、大规模数据检索、数据血缘系统、调度引擎、算力平台等）
- 构建大模型领域的Data Agent，重构AI-Native的数据平台范式；与算法、数据交付团队紧密配合，以Co-Design方式共同提升模型效果
任职要求
- 本科及以上学历，计算机、软件工程、人工智能、自动化等相关专业优先
- 3年以上数据工程系统或者基础架构研发经验，熟练掌握Java/C++/Python语言中的一种
- 至少精通以下引擎/架构之一：Spark/Flink/Ray等大数据处理引擎，Hudi/Iceberg/Paimon等数据湖，及Doris/ClickHouse等OLAP引擎，有源码阅读经验及二次开发经验优先
- 对业务敏感，能快速理解业务背景，具备优秀的技术与业务结合能力，有较好的需求抽象能力和架构能力，能把复杂基建收敛为清晰的API与服务接口
- 沟通务实，尊重相邻方向的专业判断
- 加分项：大数据平台生产与管理开发经验；大模型数据抓取、加工，合成应用于预训练、SFT/RLHF的实践经验；良好的AI Coding实践者，有将Harness Engineering应用于实际开发工作经验
工作地址
北京海淀区大恒科技大厦12F