大模型数据链路工程师
岗位摘要
与算法团队深度合作,推进数据清洗、样本生成等场景下多阶段复杂pipeline的分布式引擎设计和落地;支撑大模型数据的清洗/分类/采样等场景,持续完善Ray/Spark内核功能及性能;通过云原生技术栈搭建多云多地域的混合计算底座
登录后保留你的岗位线索
邮箱登录后可继续查看完整职责、任职要求和原岗位入口,并使用收藏与浏览记录沉淀适合自己的机会。
岗位职责
- 与算法团队深度合作,推进数据清洗、样本生成等场景下多阶段复杂pipeline的分布式引擎设计和落地
- 支撑大模型数据的清洗/分类/采样等场景,持续完善Ray/Spark内核功能及性能
- 通过云原生技术栈搭建多云多地域的混合计算底座
- 参与Ray/Spark在K8S上的弹性/潮汐资源集群稳定性/可观测性/平台化对接等能力建设
任职要求
- 扎实的Python/Java/Scala/C++/Go等高级语言编程功底
- 熟悉Ray内核或者Ray相关框架应用
- 熟悉常见的分布式计算框架(如Spark/Flink等)
- 熟悉常见的数据湖框架(Delta/Iceberg/Hudi等)
- 有良好的团队沟通协作能力,及优秀的项目驱动能力
- 有数据平台研发、机器学习相关背景、K8s研发经验者优先
- 具备数据开发经验及大数据引擎开发经验
- 熟悉Elasticsearch/Spark/Flink/HBase/Hive原理或源码
- 具备数据建模、实时数仓开发及数据治理经验
福利待遇
- 薪资35-65K,16薪
- 非外包类岗位
- 工作地点位于北京海淀区蓟门壹号
工作地址
北京海淀区蓟门壹号8楼
登录后查看完整岗位详情
使用邮箱验证码登录后,可查看完整职责、任职要求、原岗位入口,并继续使用收藏和浏览记录。列表摘要保持公开,完整详情用于保护数据质量和降低恶意抓取。