大模型数据架构工程师
岗位摘要
围绕大模型数据全生命周期，建设海量数据管理、生产、消费与质量的统一平台，提升数据使用效率，赋能预训练、SFT/RLHF等算法场景；建设数据管线全链路可追溯与自动化能力，包括作业级容错与自愈、自动化质量监测、数据版本化与血缘建立、数据实验归因体系
岗位职责
- 围绕大模型数据全生命周期，建设海量数据管理、生产、消费与质量的统一平台，提升数据使用效率，赋能预训练、SFT/RLHF等算法场景
- 建设数据管线全链路可追溯与自动化能力，包括作业级容错与自愈、自动化质量监测、数据版本化与血缘建立、数据实验归因体系
- 主导技术选型与架构优化，基于Spark/Flink/Ray、湖仓一体、向量数据库及调度引擎等技术栈，构建高吞吐、高容错、可扩展的处理存储能力，支撑日PB级数据处理
- 协同基础架构与云平台团队，搭建稳定高效的底层数据基础设施，涵盖数据湖、对象存储、分布式计算、大规模数据检索及算力平台等
- 构建大模型领域的Data Agent，重构AI-Native数据平台范式，与算法、数据交付团队以Co-Design方式紧密配合，共同提升模型效果
任职要求
- 本科及以上学历，计算机、软件工程、人工智能、自动化等相关专业优先
- 3年以上数据工程系统或基础架构研发经验，熟练掌握Java、C++或Python中的至少一种编程语言
- 至少精通Spark/Flink/Ray等大数据处理引擎、Hudi/Iceberg/Paimon等数据湖或Doris/ClickHouse等OLAP引擎之一，有源码阅读及二次开发经验者优先
- 对业务敏感，具备优秀的技术与业务结合能力，有较强的需求抽象与架构设计能力，能将复杂基建收敛为清晰的API与服务接口
- 沟通务实，尊重相邻方向的专业判断，具备良好的跨团队协作能力
加分项
- 大模型数据抓取、加工，合成应用于预训练、SFT/RLHF的实践经验
- 良好的AI Coding实践者，有将Harness Engineering应用于实际开发工作经验